SEO
Что такое индексация сайта
Индексация сайта - это анализ его страниц поисковой системой и добавление сведений о них в индекс, специальную базу данных. На основе этой базы поиск подбирает ответы на запросы пользователей. В индекс попадает не сайт целиком одним действием, а отдельные страницы.
Страница опубликована, но в поиске ее пока нет
Компания по ремонту квартир добавила на сайт новую услугу. Страница открывается по прямой ссылке, на ней есть описание работ, фотографии и форма заявки. Но публикация сама по себе не означает, что Яндекс и Google уже добавили ее в свои индексы.
Поисковой системе нужно обнаружить страницу, получить ее содержимое и обработать его. Только после этого можно оценивать, включена ли она в индекс и появляется ли по нужным запросам.
Индексация и высокие позиции - разные вещи. Страница может находиться в индексе, но не попадать в число первых результатов. Порядок результатов определяет ранжирование.
Как страницы попадают в индекс
Обнаружение адреса
Поисковая система узнает о странице, например по ссылке с другого раздела сайта или из файла Sitemap. Этот файл содержит адреса страниц, о которых владелец хочет сообщить поиску.
Сканирование
Робот обращается к странице и получает ее содержимое. Если доступ закрыт, сервер недоступен или важная информация не загружается, обработка может быть затруднена.
Обработка и отбор
Поиск анализирует содержание и настройки страницы, проверяет сходство с другими документами и решает, добавлять ли сведения о ней в индекс.
Обнаружение адреса и визит робота не гарантируют индексацию. У Яндекса и Google собственные базы и алгоритмы: одна страница может присутствовать в поиске одной системы и отсутствовать в другой.
Как проверить индексацию
В Яндексе
Используйте Яндекс Вебмастер: проверьте статус нужной страницы и сведения о ее участии в поиске. Для важных услуг и категорий контролируйте конкретные адреса.
В Google
В Google Search Console откройте проверку URL. Инструмент показывает сведения об индексировании адреса. Проверка опубликованной страницы отдельно помогает оценить ее текущую доступность.
По важным разделам
Проверяйте не только главную. Для магазина важны категории и товары, для компании услуг - страницы направлений. Общая цифра страниц не показывает, какие предложения доступны в поиске.
Запрос с оператором site: подходит для быстрой ориентировочной проверки. Его результаты не являются полным списком проиндексированных страниц и не заменяют диагностику конкретного URL.
Что может мешать индексации
Ограничения доступа
Страница требует авторизации, возвращает ошибку или недоступна роботу. Также проверьте, не остался ли после разработки запрет noindex на важных страницах.
Дубли и настройки
Поиск может выбрать другую версию похожей страницы. Проверьте перенаправления и canonical, который указывает предпочтительный адрес среди одинаковых или близких документов.
Недостаток содержания
Пустые разделы и страницы без самостоятельной пользы могут не попасть в индекс. Например, категория магазина, где нет товаров и полезной информации для покупателя.
robots.txt управляет сканированием и не заменяет noindex. В Google запрет обхода сам по себе не гарантирует исключение адреса из поиска. Чтобы робот прочитал noindex, страница должна быть доступна для сканирования.
Как помочь поиску узнать о страницах
Добавьте ссылки на важные страницы из меню, категорий и связанных материалов. Поддерживайте актуальный Sitemap, проверьте доступность содержания для роботов и устраните случайные запреты.
О новых или существенно обновленных страницах можно сообщить через переобход в Яндекс Вебмастере и запрос индексирования в Google Search Console. Это помогает передать адрес на обработку, но не гарантирует включение в индекс или определенный срок.
Повторная отправка одного адреса не заменяет исправление причины. Если страница не индексируется, сначала изучите ее статус, настройки и содержание.
Что это значит для бизнеса
Если важная страница отсутствует в индексе, она не сможет полноценно привлекать клиентов из этой поисковой системы. Поэтому после запуска сайта, переноса или добавления новых направлений стоит проверять доступность ключевых предложений в поиске.
Задача - обеспечить индексацию полезных страниц, а не увеличить их количество любой ценой. Корзина, личный кабинет и технические дубли обычно не нужны в поисковой выдаче.