Зачем нужен robots.txt

Robots.txt сообщает поисковым ботам, какие страницы или разделы сайта индексировать нельзя.

Например, если у вас есть служебные страницы (админка, корзина, дубли), их лучше закрыть от индексации. Без этого файла поисковики будут сканировать всё подряд, что может замедлить индексацию важных страниц. Ошибка в robots.txt может полностью исключить сайт из поиска — проверяйте синтаксис перед публикацией.

  • Закрывайте служебные страницы (например, /admin/, /cart/).
  • Не блокируйте CSS, JS и изображения — это ухудшит ранжирование.
  • Используйте директиву *Disallow* для запрета индексации, *Allow* — для разрешения.
📖 Читайте также: Как вытащить звук из видео в MP3 без программ

Как создать robots.txt правильно

Файл robots.txt должен находиться в корне сайта (например, *site.ru/robots.txt*) и иметь кодировку UTF-8. В нём указываются правила для всех ботов или конкретных поисковиков (Googlebot, YandexBot).

Яндекс и Google поддерживают разные расширения (например, *Crawl-delay* для Яндекса), но базовый синтаксис одинаков. После создания проверьте файл через инструменты Google Search Console или Яндекс.Вебмастер.

  • Пример базового robots.txt: *User-agent: * Disallow: /private/* Allow: /*.css$*.
  • Для Яндекса добавьте *Host: site.ru* (основное зеркало сайта).
  • Не закрывайте sitemap.xml — поисковики должны его видеть.

Зачем нужен sitemap.xml

Sitemap.xml — это карта сайта, которая помогает поисковикам быстрее находить и индексировать страницы. Особенно важен для больших сайтов (от 50 страниц) или тех, где много динамического контента (например, интернет-магазины).

В файле перечисляются все важные URL, их приоритет (*priority*) и частота обновления (*changefreq*). Без sitemap.xml поисковики могут пропустить страницы, особенно если на них мало ссылок.

Карта сайта ускоряет обход, но не отменяет краул-бюджет: у слабого домена робот обходит меньше страниц за визит, и новые адреса ждут индексации неделями независимо от того, что написано в sitemap. Понять, в какой вы категории, помогает проверка DR — оценка авторитетности домена 0–100 по открытому графу ссылок.

Нормы по типам сайтов с квартилями собраны в разборе какой DR считается хорошим: медиана по 366 заметным сайтам Рунета — 68, и это ориентир полезнее любого общего порога.

  • Включайте только канонические URL (без дублей).
  • Указывайте *lastmod* (дата последнего изменения) для ускорения переиндексации.
  • Для изображений и видео используйте отдельные sitemap или расширения.
📖 Читайте также: Как отформатировать и проверить JSON онлайн?

Как создать sitemap.xml без ошибок

Sitemap.xml должен соответствовать стандарту XML и содержать только актуальные URL. Его можно создать вручную, через CMS (например, WordPress-плагины) или онлайн-генераторы.

После генерации проверьте файл на ошибки (например, битые ссылки или неправильный формат даты). Добавьте путь к sitemap.xml в robots.txt и отправьте его в Google Search Console и Яндекс.Вебмастер для ускоренной индексации.

  • Пример структуры: *<url><loc>https://site.ru/page/</loc><lastmod>2024-01-01</lastmod></url>*.
  • Размер файла не должен превышать 50 МБ или 50 000 URL. Для больших сайтов используйте индекс sitemap.
  • Не включайте страницы с кодом ответа 404 или 301.

Типичные ошибки в robots.txt и sitemap.xml

Чаще всего ошибки возникают из-за опечаток в синтаксисе или неверных директив.

Например, закрытие всего сайта (*Disallow: /*) или указание несуществующих путей. В sitemap.xml распространены битые ссылки, дубли URL или неправильный формат даты. Проверяйте файлы перед публикацией — даже одна ошибка может привести к потере трафика.

  • Не используйте *Disallow* для CSS/JS — это ухудшит отображение страниц в поиске.
  • Не указывайте в sitemap.xml страницы с *noindex* или закрытые в robots.txt.
  • Не забывайте обновлять sitemap.xml при добавлении новых страниц.

Частые вопросы

Да, но без него поисковики будут индексировать все страницы, включая служебные. Это может замедлить индексацию важного контента и увеличить нагрузку на сервер.

Да, это рекомендуется. Добавьте строку *Sitemap: https://site.ru/sitemap.xml* в robots.txt, чтобы поисковики быстрее его обнаружили.

Обновляйте sitemap.xml при добавлении или удалении страниц. Если контент меняется часто (например, новости), настройте автоматическое обновление через CMS или скрипты.

Возможные причины: битые ссылки, закрытие страниц в robots.txt, низкий приоритет (*priority*), дубли контента или технические ошибки (например, 404). Проверьте файл через Google Search Console.

⚡ Создайте robots.txt и sitemap.xml по инструкции, проверьте на ошибки и добавьте в инструменты поисковиков. Это ускорит индексацию и защитит от попадания в поиск служебных страниц.