llms.txt и доступ ИИ-ботов к сайту: что это и нужно ли школе

Что такое llms.txt?

llms.txt представляет собой текстовый файл в формате Markdown, который кратко рассказывает ИИ-агенту, о чём сайт и какие страницы на нём главные. Его предложил исследователь Джереми Ховард в сентябре 2024 года, а в августе 2026 года вышла вторая версия описания. Файл кладут в корень сайта, по адресу вида school.ru/llms.txt. Можно положить и в папку: тогда он описывает только страницы внутри неё.

Зачем он нужен, автор объясняет так: сайт целиком не помещается в контекст языковой модели, а короткий указатель помещается. Агент открывает llms.txt, когда помогает пользователю с задачей, и по ссылкам идёт к нужным страницам. Рядом предлагается держать Markdown-версии страниц по тем же адресам с окончанием .md, но это необязательная часть.

Как выглядит файл llms.txt?

Обязательна в файле llms.txt только первая строка с заголовком первого уровня, то есть названием сайта. Дальше по порядку идут цитата с кратким описанием, свободный текст и разделы второго уровня со списками ссылок. У каждой ссылки можно оставить пометку после двоеточия. Раздел с названием Optional собирает второстепенное, его агент вправе пропустить. Для условной онлайн-школы файл мог бы выглядеть так:

# Школа интерфейсного дизайна

> Онлайн-курсы по дизайну интерфейсов для начинающих и практикующих дизайнеров.

## Курсы
- [Дизайн интерфейсов с нуля](https://school.example/courses/ui-start/): программа, длительность, формат
- [Цены и рассрочка](https://school.example/prices/): стоимость курсов и условия оплаты

## Условия
- [Возврат денег](https://school.example/refund/): когда и как вернуть оплату
- [Отзывы выпускников](https://school.example/reviews/): тексты отзывов с датой и курсом

## Optional
- [Блог](https://school.example/blog/): статьи о профессии

Даёт ли llms.txt цитирование в ChatGPT и Алисе?

Подтверждения, что llms.txt помогает попасть в ответы ChatGPT, Алисы или ИИ-обзоров Google, в первоисточниках нет. Google в документации о своих ИИ-функциях пишет прямо: особые файлы и особая разметка для них не нужны. В описании роботов OpenAI и в справке Яндекса о роботах llms.txt как способ влиять на показ в ответах не упоминается. Anthropic в статье о своих ботах его тоже не называет.

Сам сайт llmstxt.org не утверждает, что какой-либо поисковик принял формат. Он приводит другой пример: OpenAI, Anthropic и Google выложили llms.txt для документации своих разработчиков. Значит, компании считают файл удобным для агентов, которые читают документацию, но о его роли в поисковых ответах ничего не говорят. Подрядчик, который продаёт llms.txt как путь в ответы нейросетей, обещает больше, чем написано в источниках.

Чем llms.txt отличается от robots.txt и sitemap.xml?

llms.txt ничего не разрешает и не запрещает, доступом роботов по-прежнему управляет robots.txt. У трёх файлов разные задачи. robots.txt сообщает роботу, куда ему можно заходить. sitemap.xml перечисляет все страницы сайта, которые стоит проиндексировать. llms.txt даёт короткую подборку главного с пояснениями. Автор формата так и пишет: llms.txt дополняет robots.txt, но цели у них разные.

Отсюда практический вывод для школы. Если robots.txt закрывает сайт от поискового робота, хороший llms.txt не поможет: робот до него просто не дойдёт или не возьмёт страницы в индекс. Если же robots.txt открыт и страницы проиндексированы, llms.txt становится приятным дополнением для агентов, а не условием видимости.

Какие ИИ-боты заходят на сайт и что каждый делает?

ИИ-боты делятся на три вида: одни собирают тексты для обучения моделей, другие строят поисковый индекс для ответов, третьи открывают страницу, когда о ней спросил конкретный пользователь. Компании описывают своих роботов на отдельных страницах документации, и по ним видно, что у каждой компании эти задачи разнесены по разным именам. В таблице роботы, которые чаще всего встречаются в robots.txt и в логах.

Как закрыть обучение и оставить поиск?

Закрыть обучение и оставить поиск можно в одном robots.txt, потому что у OpenAI, Anthropic и Google это разные имена. Запрещают роботов обучения, а поисковых не трогают. Учтите правило, которое Google описывает для своих роботов: если у робота есть собственный блок, общий блок для всех он уже не читает. У Яндекса особый случай: на YandexAdditional общее правило для всех роботов не действует, его закрывают только отдельной строкой.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://school.example/sitemap.xml

Решение о запрете на обучение школа принимает сама: это вопрос о том, готова ли она отдавать свои тексты в модели. На поисковые ответы такой запрет, судя по документации компаний, не влияет. Правки robots.txt OpenAI обещает учесть в поиске примерно за 24 часа, а Google обычно держит файл в кеше до суток.

Как проверить robots.txt сайта школы?

Проверка начинается с адреса school.ru/robots.txt в обычном браузере: файл должен открыться текстом. Первым делом ищут строку Disallow: / в блоке для всех роботов, она закрывает весь сайт. Потом смотрят отдельные блоки для OAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexBot и YandexAdditional. Запрет поисковому роботу почти всегда ошибка, а запрет роботу обучения оказывается решением, которое кто-то принял за школу.

Частая находка на сайтах школ: robots.txt достался от шаблона конструктора или от прошлого подрядчика, и о его содержимом никто не помнит. Файл действует только на тот домен, протокол и порт, где лежит. Если курсы живут на поддомене или на отдельной платформе, у них свой robots.txt, и проверять придётся каждый. В Яндекс Вебмастере и Google Search Console есть инструменты, которые покажут, разрешён ли конкретный адрес их роботам.

Какие ответы сервера мешают ИИ-ботам?

Мешает ИИ-боту любой ответ сервера, кроме кода 200 с полным текстом страницы. Даже открытый robots.txt не спасёт, если сервер, CDN или защита от ботов отвечают роботу ошибкой. Google подробно описал, как его роботы реагируют на коды ответа файла robots.txt. Другие компании таких правил не публикуют, поэтому таблица опирается на правила Google и на общий смысл кодов.

Может ли хостинг или Cloudflare закрыть сайт от ИИ-ботов без ведома школы?

Может, и robots.txt этого не покажет. Cloudflare 1 июля 2025 года объявил, что по умолчанию блокирует ИИ-краулеры, пока те не платят авторам за контент. В документации сказано и о следующем шаге: с 15 сентября 2026 года для новых доменов боты обучения и агенты по умолчанию блокируются на страницах с рекламой, а поисковые остаются разрешены. Настройки живут в разделе Security Settings, пункт Configure AI bot policies.

У российских хостингов и конструкторов бывают свои фильтры ботов, и включают их иногда без ведома владельца сайта. Anthropic отдельно советует не блокировать её ботов по IP: тогда робот не прочитает robots.txt, и запрет не сработает как задумано. Если школа хочет отказать роботу, надёжнее сделать это в robots.txt, а защиту хостинга оставить для настоящих атак.

Как отличить настоящего ИИ-бота от подделки?

Настоящего бота отличают по адресу, с которого он пришёл, а не по имени в запросе: user-agent подделывается одной строкой. OpenAI, Anthropic и Perplexity публикуют списки IP-адресов своих роботов. Яндекс предлагает обратный DNS-запрос: имя хоста настоящего робота заканчивается на yandex.ru, yandex.net или yandex.com, а прямой запрос по этому имени возвращает тот же IP. В Вебмастере есть инструмент проверки IP-адреса.

По этой же причине грубая проверка «отправить запрос с чужим user-agent» показывает не всё. Защита, которая узнаёт настоящих роботов по IP, может ответить поддельному запросу иначе, чем роботу. Надёжнее смотреть логи сервера: какие роботы приходили, на какие страницы и какой код получили.

Нужен ли llms.txt онлайн-школе?

llms.txt онлайн-школе не повредит, но и первым делом его заводить незачем. Сначала проверяют доступ: robots.txt не закрывает поисковых роботов, сервер отвечает кодом 200, защита хостинга их не отсекает, страницы курсов и цен есть в индексе Яндекса и Google. Только после этого имеет смысл потратить час на llms.txt со ссылками на программы, цены, условия возврата и отзывы.

У этого сайта, aikochetkov.ru, llms.txt есть: в нём краткое описание, основные разделы и список статей блога с кратким ответом каждой. robots.txt рядом с ним не содержит отдельных запретов для ИИ-ботов. Результатов от файла автор не измерял, поэтому показывает его как пример устройства, а не как доказательство пользы. Как рекомендация ИИ-ассистента выглядит на живом примере, разобрано в кейсе с Алисой AI.

Как это выглядит в онлайн-школе

Пример условный: он собран для иллюстрации и не описывает конкретную школу. Владелец школы услышал про llms.txt и просит подрядчика сделать файл. Перед этим подрядчик открывает robots.txt и видит, что сайт открыт для всех роботов. Казалось бы, порядок. Но в логах сервера запросы OAI-SearchBot и ClaudeBot получают код 403, а обычный браузер открывает те же страницы без ошибок.

Причина находится в панели CDN: при подключении домена там включилась блокировка ботов, и о ней никто не знал. Школа отключает блокировку для поисковых роботов, оставляет запрет для роботов обучения в robots.txt и проверяет, что цена и программа есть в HTML, а не только в форме заявки. llms.txt делают последним, за час. Дальше школа раз в месяц смотрит, пришли ли люди с сайтов нейросетей и сколько из них дошло до оплаты.

Когда проверка доступа ИИ-ботов школе не нужна?

Проверка доступа ИИ-ботов не первая задача для школы, у которой сайт плохо индексируется обычным поиском или нет отдельных страниц под курсы: сначала нужен порядок на сайте. Мало она даст и школе, которая продаёт только своей базе, по личным рекомендациям или через закрытый канал, где абитуриент ничего не ищет. Тот же вывод для лендинга под рекламу на одну неделю запуска.

И llms.txt, и robots.txt отвечают только за доступ. Как сделать так, чтобы нейросеть понимала страницы школы и опиралась на них в ответах, разобрано в статье о продвижении в нейросетях.

Что открытый доступ ИИ-ботов даёт продажам школы?

Открытый доступ даёт школе шанс на цитирование, а продажи по-прежнему решает воронка. Абитуриент, которого привела нейросеть, проходит тот же путь: страница курса, заявка, звонок менеджера, оплата. Если школа теряет людей на одном из этих шагов, новый источник только добавит людей в ту же прореху. Место поломки находят по цифрам каждого шага, как в разборе причин падения продаж онлайн-школы и в статье об анализе воронки продаж.

Каузальный маркетинг начинает с другого вопроса: какая причина на самом деле съедает выручку школы. Сначала её находят на цифрах и подтверждают данными, потом меняют сайт, рекламу или скрипты продаж. Разборы таких причин выходят в канале «Каузальный маркетинг» в MAX, на него можно подписаться. Как устроена работа со школами, описано на странице для онлайн-школ.