Главное за 30 секунд
- llms.txt — это оглавление сайта для нейросетей. Короткий файл в корне, где перечислены главные страницы с пояснением, что на каждой. Формат — обычный markdown, читается и человеком.
- Он не управляет доступом. Разрешать и запрещать обход — работа robots.txt. Если ИИ-краулер на сайт не пускают, llms.txt не поможет никак.
- Это не стандарт, а соглашение. Обязанности его читать нет ни у кого. Поддержка появляется постепенно, и ставка тут на перспективу, а не на завтрашний результат.
- Польза есть и без нейросетей. Чтобы собрать файл, приходится ответить, какие двадцать страниц на сайте главные. Этот ответ обычно полезнее самого файла.
Что это за файл
Идея простая. Нейросеть, отвечая на вопрос, подтягивает несколько страниц сайта и пытается понять, что на них. Разметка помогает, но многое теряется: меню, баннеры, подвал и реклама мешают не меньше, чем помогают.
llms.txt предлагает дать системе короткую подсказку: вот структура сайта,
вот главные разделы, вот одной строкой, что в каждом. Файл кладётся в корень,
по адресу /llms.txt, и пишется обычным текстом с заголовками
и ссылками.
Предложение появилось в 2024 году и за два года расползлось по документациям и крупным проектам. Статуса официального стандарта у него нет — это соглашение, которое кто-то соблюдает, а кто-то нет.
Чем он отличается от robots.txt и карты сайта
Три файла легко перепутать, потому что все лежат в корне и все про роботов. Задачи у них разные.
| Файл | Отвечает на вопрос | Для кого |
|---|---|---|
robots.txt | Куда можно ходить, а куда нельзя | Все роботы, включая поисковых и ИИ-краулеров |
sitemap.xml | Какие адреса вообще есть и когда менялись | Поисковые системы |
llms.txt | Что на сайте главное и о чём каждый раздел | Языковые модели |
Отсюда порядок работ: сначала убедиться, что ИИ-краулеров пускают, потом думать про llms.txt. Обратный порядок бессмыслен — подсказка не нужна тому, кого не впустили на порог.
Как он устроен
Структура минимальна и держится на четырёх элементах.
- Заголовок первого уровня — название сайта или компании. Ровно один на файл.
- Цитата под ним — одно-два предложения о том, чем занимается компания. Это самая важная строка файла: именно её система берёт как краткое описание.
- Разделы заголовками второго уровня — логические группы: услуги, цены, материалы, о компании.
- Списки ссылок внутри разделов — адрес и короткое пояснение после двоеточия.
Отдельное соглашение — раздел с заголовком «Optional». Всё, что в нём, считается второстепенным: это подсказка, чем можно пожертвовать, если модель ограничена в объёме.
Что писать коммерческому сайту
Большинство примеров в сети сделаны для документации, где структура очевидна. Коммерческому сайту полезнее другой набор.
- страницы услуг — каждая отдельной строкой, с пояснением, что входит
- страница с ценами или условиями работы
- три-пять материалов, где есть собственные цифры: расчёты, исследования, разборы случаев
- контакты и реквизиты
- страница о компании с фактами: год основания, город, число проектов
Чего там быть не должно: всего каталога статей, служебных страниц, тегов, пагинации. Файл работает ровно до тех пор, пока он короткий. Двадцать-тридцать ссылок — нормальный объём, двести — уже вторая карта сайта, от которой никакой пользы.
Пояснения пишите не рекламно, а информативно. «Лучшие цены в городе» — строка, которую нечего процитировать. «Продвижение сайта услуг от 60 000 ₽ в месяц, в стоимость входит техподдержка и контент» — строка, которую можно вставить в ответ целиком.
Разбор на примере
Как это выглядит для агентства:
| Строка | Зачем |
|---|---|
# Агентство «Эверест» | Название. Ровно одно на файл |
> Интернет-маркетинг из Новосибирска с 2014 года:
SEO, реклама, разработка сайтов | Описание компании. Самая цитируемая строка |
## Услуги | Раздел |
- [SEO-продвижение](/uslugi/seo-prodvizhenie/): работы,
сроки, состав | Ссылка с пояснением |
## Исследования | Раздел с собственными данными — то, на что ссылаются охотнее всего |
## Optional | Второстепенное: блог, политика, архивы |
Файл отдаётся с типом text/plain, кодировка UTF-8, адрес
строго /llms.txt. Если сайт многоязычный, принято делать
отдельный файл на каждую версию.
Чего от него не стоит ждать
Роста позиций. Поисковые системы этот файл не учитывают и в ранжировании не используют.
Гарантии, что вас процитируют. Файл только подсказывает структуру. Выбирать, кого вставить в ответ, система всё равно будет по содержанию страниц и по тому, что о вас пишут другие.
Быстрого эффекта. Поддержка формата пока неполная. Это задел на перспективу, а не работа ради результата в этом квартале.
Защиты контента. Файл ничего не запрещает. Ограничения — в robots.txt и в настройках сервера.
Кому стоит делать, а кому рано
Стоит, если сайт сложный и услуги неочевидны из названий разделов; если у вас есть собственные материалы с данными; если вы уже занимаетесь попаданием в ответы нейросетей системно.
Рано, если ИИ-краулеры на сайт не пускают — начните с этого. Если сайт состоит из пяти страниц и всё понятно без подсказок. Если на страницах нечего процитировать: сначала содержание, потом оглавление к нему.
Как проверить, что всё работает
- Откройте файл в браузере. Он должен отдаваться как текст и показываться как текст, а не скачиваться.
- Проверьте ссылки. Все адреса абсолютные или от корня, все отдают 200, ни одного редиректа.
- Прочитайте глазами. Если человек, впервые попавший на сайт, по одному этому файлу понимает, чем вы занимаетесь и что у вас заказать, — файл сделан правильно.
- Посмотрите логи сервера через пару недель: заходят ли по этому адресу ИИ-роботы. Это единственный честный способ понять, читает его кто-нибудь или нет.
Источники
Разбор опирается на описание формата и на наши проверки клиентских сайтов и сайтов из выдачи.
- llmstxt.org — описание формата: исходное предложение и структура файла
- OpenAI: краулеры и правила обхода: какие роботы ходят за контентом
- robots.txt в справке Яндекса: чем управляется доступ роботов на сайт
Поможем с этим
Услуги агентства, которые закрывают задачи из этой статьи.
Перед тем как делать файл, проверьте доступ: мы смотрели 325 сайтов, и у заметной части ИИ-краулеры были закрыты настройками хостинга. Смотреть исследование.
Частые вопросы
Это официальный стандарт?
Нет. Это открытое предложение формата, которое крупные проекты начали поддерживать добровольно. Обязанности читать файл нет ни у одной системы, и спецификация может меняться.
Заменяет ли llms.txt карту сайта?
Нет, это разные вещи. Карта сайта перечисляет все адреса для поисковых систем, llms.txt — только главные, с пояснениями, для языковых моделей. Оба файла нужны одновременно.
Сколько ссылок класть в файл?
Двадцать-тридцать. Смысл файла в отборе: если туда попадает всё, подсказки не получается. Второстепенное выносится в раздел Optional.
Нужен ли файл, если сайт небольшой?
Если у вас пять страниц и из названий разделов всё понятно, пользы почти не будет. Делать стоит, когда услуг много или названия разделов не говорят сами за себя.
Можно ли через этот файл запретить обучение на моём контенте?
Нет, он ничего не запрещает. Ограничения ставятся в robots.txt по именам роботов и на уровне сервера. Но учтите: закрытый сайт пропадает из ответов нейросетей целиком.
Как понять, что файл кто-то читает?
По логам сервера. Через две-три недели посмотрите, были ли обращения к /llms.txt и от каких user-agent. Другого способа пока нет: отчётов по этому файлу никто не отдаёт.
Продвигаем сайты с 2014 года, более 300 выполненных проектов. О компании · Кейсы
