Для администрирования сайтов в рунете чаще всего используется система Битрикс. Эта CMS отлично работает с интернет-магазинами, а также с довольно нагруженными сайтами. Когда проект «разрастается», начинают проявляться недостатки Bitrix-a — система теряет скорость загрузки страниц, а индексация идет хуже. Исправить ситуацию поможет правильно составленный файл robots txt для Битрикс. Он укажет поисковому роботу, какие страницы нужно индексировать для продвижения, а часть «технических» страниц скроет, которые не важны для индексации, но дают лишнюю нагрузку на сайт. Правильный роботс для Битрикса — рациональный способ ускорить загрузку, оптимизировать индексацию и закрепиться в топ-выдаче.
Где находится robots.txt?
Чтобы посмотреть стандартный роботс для Битрикса, добавьте к адресу сайта (полному домену) приставку «/robots.txt» и перейдите по получившемуся адресу. Вы увидите код, в котором даны четкие инструкции для индексации поисковым роботом. Также можно зайти в панель администрирования на вашем хостинге, в корневом каталоге найти этот файл и открыть средством просмотра, встроенным в хостинг.
Создаем и редактируем роботс тхт Битрикса
Для ручного создания файла robots нужно зайти в файловый редактор хостинга или подключиться к нему через FTP. В корневой папке, которая обычно называется public_html, создаем файл с расширением .txt и сохраняем. Если такой файл есть, его можно сразу открыть для редактирования.
Сгенерировать robots txt для Битрикс можно и через вспомогательный модуль. Для этого зайдите в админпанель сайта, перейдите в раздел Маркетинг, подраздел Поисковая оптимизация и выберите пункт Настройка robots.txt. На вкладке Общие правила можно сгенерировать инструкции для робота поисковой системы по таким разделам:
- Стартовый набор — базовые правила, универсальные для всех.
- Запретить — добавляет инструкции, по которым робот будет игнорировать конкретные файлы или папки.
- Разрешить — добавляет инструкции, которые принудительно приведут робота к конкретным файлам и папкам, требующим индексации.
- Главное зеркало — показывает зеркало сайта. Для Битрикса не обязателен этот пункт.
- Интервал между запросами — задает промежуток времени между страницами веб-сайта. Эту опцию в robots для Битрикс лучше не использовать.
- Карта сайта — направляет к файлу с картой. Обязательный пункт для полноценной индексации.
После остается сохранить сгенерированный код. На вкладках Google и Яндекс можно настроить правила для роботов каждой поисковой системы отдельно.
Что не нужно делать в настройке robots txt Битрикса?
Иногда блогеры, не располагающие достаточным опытом, дают неправильные советы по настройке роботс тхт, в результате чего сайт становится еще тяжеловеснее и падает в выдаче. Избегайте таких ошибок:
- Закрытие страниц пагинации от индексации. Они должны индексироваться, но к ним нужно прописать мета-тег canonical, чтобы обозначить, как канонические. Удалите правило Disallow: *?PAGEN_1=.
- Закрытие файлов для скачивания и изображений. Удалите правило Disallow: /upload/.
- Закрытие страниц категорий и тегов. Это имеет смысл, если на страницах есть дублирующийся контент, не имеющий весомой ценности. В остальных случаях эти страницы способствуют продвижению и увеличению трафика.
- Указание интервала между запросами. Параметр Crawl-Delay нужен в тех случаях, когда необходимо ограничить роботам просмотр страниц сайта. Для небольшого веб-сайта с умеренным трафиком это губительно. Директива полезна будет только для нагруженного большого ресурса, который нужно облегчить для ботов. Важно: директива не учитывается поисковиком Google, а работает с Яндексом, Yahoo, Bing, Mail.ru и пр.
Как выглядит правильный роботс для Битрикс?
Далее приводим пример правильного варианта файла роботс.тхт для CMS Bitrix:
User-agent: * # правила для всех роботов
Disallow: /cgi-bin # папка на хостинге
Disallow: /bitrix/ # папка с системными файлами битрикса
Disallow: *bitrix_*= # GET-запросы битрикса
Disallow: /local/ # папка с системными файлами битрикса
Disallow: /*index.php$ # дубли страниц index.php
Disallow: /auth/ # авторизация
Disallow: *auth= # авторизация
Disallow: /personal/ # личный кабинет
Disallow: *register= # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login= # логин
Disallow: *logout= # выход
Disallow: */search/ # поиск
Disallow: *action= # действия
Disallow: *print= # печать
Disallow: *?new=Y # новая страница
Disallow: *?edit= # редактирование
Disallow: *?preview= # предпросмотр
Disallow: *backurl= # трекбеки
Disallow: *back_url= # трекбеки
Disallow: *back_url_admin= # трекбеки
Disallow: *captcha # каптча
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL=
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: *from= # ссылки с метками from
Allow: */upload/ # открываем папку с файлами uploads
Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
# Укажите один или несколько файлов Sitemap
Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz
Похожие статьи
