Индексация сайта: статистика страниц в поиске, или почему поисковики игнорируют ваш сайт

Чтобы предоставить в выдаче релевантный ответ на поисковый запрос пользователя, боту сначала нужно найти в базе подходящую страницу. Пока страница не будет добавлена в базу, она не учувствует в поисковой выдаче. Процесс добавления страниц сайта в поисковую базу называется индексацией. Именно из-за нее только созданные сайты не будут сразу показываться в выдаче. То же самое касается и вновь созданных страниц.

Как добавить новый сайт в Яндекс и Google, мы уже рассказывали в блоге, обязательно к прочтению всем начинающим вебмастерам.

Кратко воспроизведу основные действия:

• Добавляем сайт в Вебмастер
• Создаем карту сайта
• Загружаем карту в Вебмастер
• Ждем
• Ждем
• ...

А ждать можно долго. Тут как в почтовом отделении после распродажи на День холостяка: «Вас много, а я одна». Как обойти очередь из таких же желающих попасть в поиск и ускорить индексацию сайта?

В Яндекс.Вебмастере есть специальный инструмент — «Переобход страниц». Раздел располагается во вкладке «Индексирование»:

Сюда мы добавляем 20 самых важных страниц, которые следует проиндексировать в приоритетном порядке. Если у вас интернет-магазин, я рекомендую взять основные категории товаров + несколько самых популярных товаров. Главную страницу сюда можно не включать, она и так будет проиндексирована в первую очередь. Максимум в течение 3 суток заявка на индексацию будет обработана. В день можно добавлять не более 20 страниц.

В Google Search Console индексацию можно ускорить через инструмент – «Проверка URL».

Вводим адрес страницы в строку, информация об индексации сразу выводится на первом экране. Нажимаем кнопку — «Запросить индексирование»:

Ещё один полезный способ ускорить индексацию — рассказать о своём сайте на других популярных ресурсах. Используйте социальные сети, зарегистрируйте сайт на картах Яндекс и Google. Разместите информацию о компании в популярных справочниках организаций. Чем больше на ваш сайт будет внешних ссылок, тем быстрее бот узнает о вас.

Что ещё влияет на скорость индексации сайта?

Для каждого сайта у поисковика есть свой так называемый краулинговый бюджет. Это число страниц, которые поисковик способен проанализировать за определенное время. Чтобы не тратить бюджет впустую, очень важно сообщить боту, какие страницы нужно сканировать, а какие можно просто пропустить.

Правильная настройка файла Robots.txt

Файл robots.txt — текстовый документ, располагающийся в корне сайта со строгими инструкциями индексации для поисковых ботов.

Файл всегда должен располагаться по адресу адресвашегосайта/robots.txt. К примеру, так выглядит наш файл robots.txt - https://1ps.ru/robots.txt

Файл содержит правила индексации и директивы для поисковых роботов. Какие страницы не следует индексировать, как часто можно индексировать сайт, где располагается карта сайта и т.д. В файле обязательно нужно прописать, какие страницы не следует индексировать. Это все служебные страницы сайта — страница входа в админку, страницы личного кабинета, страница поиска и т.д. Так робот не будет тратить время на индексацию мусорных страниц, не участвующих в продвижении. Подробную статью о том, что скрыть от поисковых роботов, написал мой коллега Дмитрий. Рекомендую к прочтению.

Настройка карты сайта

Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи.

В xml карте сайта должны быть указаны адреса всех страниц, участвующих в продвижении сайта.

Карта сайта должна автоматически обновляться при добавлении новых страниц. Это позволит быстрее сообщать ботам об изменениях. Как создать и правильно настроить карту сайта, я подробно расписал в этой статье.

Структура сайта. Внутренняя перелинковка

При индексации сайта поисковый бот переходит от страницы к странице, анализируя контент сайта. Наша задача – облегчить маршрут бота, выстилая ему красную дорожку к следующей странице.

Если вложенность страниц сайта больше двух, обязательно используйте хлебные крошки с микроразметкой. Так боты понимают целостную структуру сайта, что ускоряет индексацию.

Пример хлебных крошек в нашем блоге:

В карточках товаров добавьте раздел «С этим товаром часто ищут» или «Вам может это понравиться» и т.п.

В информационных статьях давайте ссылки на перекрёстные статьи из блога, страницы заказа услуг и т.п. Это увеличит глубину просмотра и упростит индексацию сайта ботам.

Как узнать, какие страницы проиндексированы поисковой системой?

Через оператор site: в поисковом запросе

Самый простой способ узнать примерное количество страниц в поисковой выдаче – набрать в поисковой строке адрес сайта, используя оператор site:адресвашегосайта.ру. Адрес сайта лучше указывать без протокола http/https, без использования www.

И аналогично в Google:

Количество проиндексированных страниц в Яндекс и Google должно примерно совпадать. Если где-то наблюдается явный перекос, возможно, сайт индексируется неправильно. Если у вас такая проблема — пишите нам, обязательно разберемся, в чем именно проблема.

Также можно проверить индексацию одной определенной страницы. Для этого используется оператор url:адресстраницы

Если в результатах выдачи пусто — страница отсутствует в индексе.

Через вебмастера Яндекс и Google.

Информация из первых рук. Только в вебмастерах можно определить точное количество просканированных страниц, страниц в поиске, исключенных страниц из выдачи.

В Яндекс.Вебмастере этому посвящён целый раздел – «Индексирование».

Узнать общее количество страниц в индексе можно в подразделе — «Страницы в поиске». Наводим на графике мышкой на текущее число – там мы увидим общее число проиндексированных страниц, количество проиндексированных страниц из каждого подраздела сайта.

В Google Search Console переходим в раздел «Индекс» - «Покрытие».

Почему страница может быть исключена из поиска?

Но не все страницы сайта попадают в индекс. Часть страниц может быть исключена по тем или иным причинам. Найти список исключенных страниц можно в Вебмастерах. В Яндекс это раздел — «Исключенные страницы»:

В Google – раздел «Исключено»:

Причину, почему была удалена страница из поиска, также можно посмотреть в Вебмастере. Чаще всего страницы исключаются как дублированный контент, недостаточно качественная страница, ошибка HTTP в ответе сервера. Полный список всегда можно найти в справке.

Если страница сайта не содержит полезного контента для пользователя, либо контент скопирован с другого ресурса — такая страница может быть признана недостаточно качественной. Все некачественные страницы, по мнению поисковых систем, исключаются из поисковой выдачи до следующего переобхода. Если на страницу давно не заходили живые пользователи, она также может быть признана некачественной.

Очень важно следить за наполнением каждой страницы сайта, участвующей в поисковом продвижении.

Как узнать какие страницы дают трафик, а какие пользователи игнорируют?

Подробный отчет обо всех страницах входа на сайт из поисковой выдачи можно найти в Яндекс.Метрике. Раздел «Отчёты» — «Стандартные отчёты» — «Содержание» — «Страницы входа».

По каждой странице отображается информация о количестве визитов, посетителях, проценте отказов, глубине просмотра и общем времени по выбранной странице. Анализ проведенного времени на сайте и количества отказов станет отличным помощником в улучшении юзабилити сайта. Процент отказов больше 25% говорит нам о том, что со страницей точно не все в порядке, и каждый 4 посетитель уходит с сайта.

Информацию о показах и кликах по каждой странице можно найти в Яндекс.Вебмастере. Раздел «Поисковые запросы» — «Статистика страниц».

Используйте информацию для улучшения сниппета сайта. Большое количество показов без кликов говорит о том, что сниппет страницы не привлекает пользователей, и все клики достаются конкурентам.

Страница попала в индекс, но трафика нет, что делать?

После добавления сайта в поисковую выдачу каждая страница соревнуется с миллионами подобных страниц с других ресурсов. Чтобы получать хороший поисковый трафик, следует сделать сайт релевантным запросам пользователей и удобным для них.

Начинаем с заполнения тегов, составляем семантическое ядро, пишем уникальный и полезный для пользователей текст. Анализируем навигацию, дизайн. На сайте не должно быть технических ошибок, мешающих продвижению. Исследуем конкурентов. Список работ можно продолжать бесконечно. У нас в блоге есть очень полезная статья от Ирины «Как получить трафик на сайт из поисковых систем».

Если после всех работ трафик так и не появился, возможно, проблема скрыта глубже и потребуется более детальное рассмотрение. Рекомендуем заказать аудит – будем разбираться.

Правильная индексация сайта – очень важный момент в продвижении сайта. Не забывайте проверять, сколько страниц находится в поиске, какие страницы были удалены и почему. Одно неверное правило в robots, и сайт полностью пропадет из индекса поисковых систем. А это самый страшный сон любого вебмастера!