Полезные статьи по разработке сайта на системе управления 1С-Битрикс. Программирование. Верстка.

Правильный файл robots.txt для сайта на 1С-Битрикс

  87

Файл robots.txt — это текстовый файл, в котором содержаться специальные инструкции для поисковых роботов для индексации сайта.

Пример корректного файла robots.txt для системы управления 1C-Битрикс:

 User-agent: *
Disallow: /auth*
Disallow: /basket*
Disallow: /order*
Disallow: /personal/
Disallow: /search/
Disallow: /test/
Disallow: /ajax/
Disallow: *index.php*
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: *bitrix*
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*print*
Disallow: /*action*
Disallow: /*register=
Disallow: /*password*
Disallow: /*login=
Disallow: /*type=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: *?arrFilter*
Host: https://site.ru
Sitemap: https://site.ru/sitemap_index.xml