Зачем нужен llms.txt

AI-поисковики вроде ChatGPT и Perplexity используют контент сайтов для обучения моделей и формирования ответов. Файл llms.txt — это аналог robots.txt, но для ботов с искусственным интеллектом.

Если вы не хотите, чтобы ваши тексты, изображения или данные попадали в базы AI без вашего согласия, создайте этот файл и разместите его в корне сайта. Без него боты по умолчанию считают, что индексация разрешена.

  • Разрешает или запрещает индексацию всего сайта или отдельных разделов
  • Работает только для ботов, которые соблюдают правила (например, Perplexity)
  • Не влияет на обычные поисковые системы (Google, Яндекс)
📖 Читайте также: Как вытащить звук из видео в MP3 без программ

Структура файла llms.txt

Файл состоит из директив, каждая из которых начинается с User-agent (имя бота) и содержит правила Disallow или Allow. Имена ботов указываются точно: например, * для всех AI-поисковиков или Perplexity для конкретного сервиса.

Путь после Disallow должен начинаться со слэша и соответствовать структуре вашего сайта. Комментарии начинаются с # и игнорируются ботами.

  • User-agent: * — правило для всех ботов
  • Disallow: /private/ — запрет индексации папки private
  • Allow: /blog/ — разрешение индексации раздела blog
  • Пустая директива Disallow разрешает индексацию всего сайта

Примеры файлов llms.txt

Если вы хотите запретить индексацию всего сайта для всех AI-ботов, используйте две строки: User-agent: * и Disallow: /. Для разрешения индексации только блога добавьте Allow: /blog/ после Disallow.

Чтобы заблокировать конкретного бота, укажите его имя в User-agent и добавьте Disallow с нужным путём. Проверьте файл на ошибки с помощью валидаторов перед размещением.

  • Запрет для всех ботов: `User-agent: * Disallow: /`
  • Разрешение только блога: `User-agent: * Disallow: / Allow: /blog/`
  • Блокировка Perplexity: `User-agent: Perplexity Disallow: /`
📖 Читайте также: Как отформатировать и проверить JSON онлайн?

Где разместить файл llms.txt

Файл должен находиться в корневом каталоге сайта и быть доступен по адресу вашсайт.ru/llms.txt. Если у вас статический сайт, загрузите файл через FTP или панель хостинга.

Для WordPress используйте плагины вроде File Manager или добавьте файл через файловый менеджер хостинга. После размещения проверьте доступность файла в браузере и убедитесь, что сервер отдаёт его с кодом 200.

  • Доступен по адресу: `https://вашсайт.ru/llms.txt`
  • Формат: обычный текстовый файл с расширением .txt
  • Кодировка: UTF-8 без BOM

Распространённые ошибки

Частая ошибка — указание неверного пути в директиве Disallow. Путь должен начинаться со слэша и точно соответствовать структуре сайта.

Другая проблема — отсутствие User-agent: *, если вы хотите применить правило ко всем ботам. Некоторые забывают, что llms.txt не влияет на обычные поисковые системы, и ожидают изменений в Google или Яндекс.

Проверяйте файл на опечатки и лишние пробелы.

  • Неверный путь: `Disallow: private/` вместо `Disallow: /private/`
  • Отсутствие User-agent для всех ботов
  • Ожидание эффекта для Google или Яндекс

Частые вопросы

Да, llms.txt и robots.txt — разные файлы. Robots.txt управляет индексацией для обычных поисковых систем, а llms.txt — для AI-поисковиков вроде ChatGPT и Perplexity.

Если вы хотите контролировать видимость сайта для обоих типов ботов, создайте оба файла.

После размещения файла откройте его в браузере по адресу вашсайт.ru/llms.txt. Убедитесь, что файл доступен и содержит корректные директивы.

Для проверки соблюдения правил ботами используйте инструменты вроде Perplexity’s crawler или обратитесь к документации конкретного AI-поисковика.

Да, используйте директиву Disallow с указанием пути к папке или странице.

Например, `Disallow: /private/` запретит индексацию всех страниц в папке private. Для разрешения индексации отдельных разделов используйте Allow после Disallow.

Нет, не все. Файл llms.txt — это добровольный стандарт, и его соблюдение зависит от разработчиков AI-поисковиков.

Например, Perplexity поддерживает его, а другие боты могут игнорировать. Уточняйте информацию в документации конкретного сервиса.

⚡ Создайте файл llms.txt, чтобы управлять видимостью вашего сайта для AI-поисковиков. Разместите его в корне сайта, проверьте на ошибки и следите за обновлениями стандарта.