Файл robots.txt для Bitrix

Где находится robots.txt?

Чтобы посмотреть стандартный роботс для Битрикса, добавьте к адресу сайта (полному домену) приставку «/robots.txt» и перейдите по получившемуся адресу. Вы увидите код, в котором даны чёткие инструкции для индексации поисковым роботом. Также можно зайти в панель администрирования на вашем хостинге, в корневом каталоге найти этот файл и открыть средством просмотра, встроенным в хостинг.

Создаем и редактируем роботс тхт Битрикса

Для ручного создания файла robots нужно зайти в файловый редактор хостинга или подключиться к нему через FTP. В корневой папке, которая обычно называется public_html, создаем файл с расширением .txt и сохраняем. Если такой файл есть, его можно сразу открыть для редактирования.

Сгенерировать robots txt для Битрикс можно и через вспомогательный модуль. Для этого зайдите в админпанель сайта, перейдите в раздел Маркетинг, подраздел Поисковая оптимизация и выберите пункт Настройка robots.txt. На вкладке Общие правила можно сгенерировать инструкции для робота поисковой системы по таким разделам:

• Стартовый набор - базовые правила, универсальные для всех.
• Запретить - добавляет инструкции, по которым робот будет игнорировать конкретные файлы или папки.
• Разрешить - добавляет инструкции, которые принудительно приведут робота к конкретным файлам и папкам, требующим индексации.
• Главное зеркало - показывает зеркало сайта. Для Битрикса не обязателен этот пункт.
• Интервал между запросами - задает промежуток времени между страницами веб-сайта. Эту опцию в robots для Битрикс лучше не использовать.
• Карта сайта - направляет к файлу с картой. Обязательный пункт для полноценной индексации.

После остается сохранить сгенерированный код. На вкладках Google и Яндекс можно настроить правила для роботов каждой поисковой системы отдельно.

Разделы модуля настройки robots.txt в Битриксе

Что не нужно делать в настройке robots txt Битрикса?

Иногда блогеры, не располагающие достаточным опытом, дают неправильные советы по настройке роботс тхт, в результате чего сайт становится ещё тяжеловеснее и падает в выдаче. Избегайте таких ошибок:

• Закрытие страниц пагинации от индексации. Они должны индексироваться, но к ним нужно прописать мета-тег canonical, чтобы обозначить, как канонические. Удалите правило Disallow: *?PAGEN_1=.
• Закрытие файлов для скачивания и изображений. Удалите правило Disallow: /upload/.
• Закрытие страниц категорий и тегов. Это имеет смысл, если на страницах есть дублирующийся контент, не имеющий весомой ценности. В остальных случаях эти страницы способствуют продвижению и увеличению трафика.
• Указание интервала между запросами. Параметр Crawl-Delay нужен в тех случаях, когда необходимо ограничить роботам просмотр страниц сайта. Для небольшого веб-сайта с умеренным трафиком это губительно. Директива полезна будет только для нагруженного большого ресурса, который нужно облегчить для ботов. Важно: директива не учитывается поисковиком Google, а работает с Яндексом, Yahoo, Bing, Mail.ru и пр.

Как выглядит правильный роботс для Битрикс?

Далее приводим пример правильного варианта файла роботс.тхт для CMS Bitrix:

User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикса
Disallow: /*index.php$      # дубли страниц index.php
Disallow: /auth/            # авторизация
Disallow: *auth=            # авторизация
Disallow: /personal/        # личный кабинет
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login=           # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *print=           # печать
Disallow: *?new=Y           # новая страница
Disallow: *?edit=           # редактирование
Disallow: *?preview=        # предпросмотр
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=         
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=    
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=  
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL= 
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=        
Disallow: *TYPE=
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *from=            # ссылки с метками from
Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif

# Укажите один или несколько файлов Sitemap
Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz

Частые вопросы