Техническое SEO

Что такое robots.txt

Robots.txt - это текстовый файл с правилами обхода сайта для роботов. Его размещают по адресу /robots.txt в корне сайта. В нем указывают, какие пути разрешено или запрещено запрашивать определенным роботам. Файл помогает управлять сканированием, но не является средством защиты информации.

Как выглядит robots.txt

Правила объединяют в группы: сначала указывают робота, затем пути для ограничения обхода. Например, можно запретить сканирование отдельного служебного раздела и добавить адрес XML-карты сайта.

Настройки подбирают под реальные адреса и задачи проекта. Перед публикацией важно проверить, какие страницы попадут под запрет: похожие названия разделов могут привести к неожиданной блокировке.

Условный пример правил

example.com/robots.txt

User-agent: *
Disallow: /internal/

Sitemap: https://example.com/sitemap.xml

Пример запрещает обход путей, начинающихся с /internal/, для роботов, к которым применяется эта группа. Он не закрывает раздел от посетителей.

Какие директивы используют

User-agent

Обозначает робота, для которого задана группа правил. Звездочка используется для общей группы.

Disallow и Allow

Задают запрещенные и разрешенные пути. Allow позволяет описывать исключения из ограничений.

Sitemap

Указывает полный адрес карты сайта. Ее наличие помогает сообщить о страницах, но не гарантирует их индексацию.

Disallow не равен noindex. Запрещенный к обходу URL может появиться в Google по сведениям из внешних ссылок. Для исключения страницы из индекса используют noindex, доступный роботу при сканировании. Если обход закрыт, робот не сможет прочитать этот запрет индексации.

Что проверить при настройке

Адрес файла

Откройте /robots.txt на рабочем домене. Убедитесь, что возвращаются актуальные текстовые правила, а не страница ошибки или содержимое другого проекта.

Важные страницы

Проверьте главную, категории, товары, услуги и статьи. Случайное ограничение коммерческих разделов может помешать обработке нового содержания.

Ресурсы страницы

Не блокируйте необходимые для понимания страницы CSS, JavaScript и изображения. Проверьте результат ее отображения поисковым роботом.

Правила после запуска

После переноса с тестовой площадки проверьте ограничения повторно. Запрет полного обхода, оставленный с этапа разработки, мешает работе с публичным сайтом.

Конкретные URL

Проверяйте правила на примерах адресов. Особенно внимательно изучайте ограничения для фильтров и параметров: часть подборок может быть нужна для продвижения.

Изменения и контроль

Сохраняйте предыдущую версию файла и фиксируйте причину правок. После обновления проверяйте сообщения об ограничениях обхода в инструментах вебмастера.

Конфиденциальные разделы защищают авторизацией. Robots.txt открыт для просмотра, а некоторые роботы могут игнорировать его правила. Не используйте файл как защиту личных кабинетов и документов.

Что robots.txt значит для бизнеса

Для бизнеса robots.txt - часть технического контроля над сайтом. Корректные правила помогают не тратить обход на ненужные варианты адресов и сохранять доступ к полезным страницам. Ошибка в настройке может затронуть целый каталог или раздел услуг, поэтому изменения требуют проверки.

Особенно важно контролировать файл после запуска сайта, смены CMS и переработки структуры. Включите его проверку в приемку технических работ: доступны ли коммерческие страницы, нет ли случайных запретов, правильно ли указан адрес карты сайта. Это помогает вовремя обнаруживать препятствия для поискового продвижения.