Быстрый способ проверить индексацию страниц в Яндексе и Google

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц мониторить индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Обнаружить проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
  • Быстрый способ проверить индексацию страниц в Яндексе и Google

  • Google Search Console («Статус» / «Индексирование отправленных URL» / «Страница без ошибок» / «Экспортировать данные»).
  • Быстрый способ проверить индексацию страниц в Яндексе и Google

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент анализа индексации от SeoPult

Для быстрой проверки индексации в Яндексе и Google в SeoPult разработали инструмент «Анализ индексации страниц».

Возможности инструмента:

  • одновременный мониторинг проиндексированных страниц в Яндексе и Google (или в одной ПС);
  • возможность проверки сразу всех URL сайта по XML-карте;
  • нет ограничения по количеству URL.

Особенности:

  • работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере SeoPult.

Как работает инструмент?

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

  1. Добавление XML-карты сайта (способ подходит, если вам нужно промониторить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
  2. Быстрый способ проверить индексацию страниц в Яндексе и Google

  3. Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
  4. Быстрый способ проверить индексацию страниц в Яндексе и Google

  5. Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).
  6. Быстрый способ проверить индексацию страниц в Яндексе и Google

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц — 684 и 1090.

Быстрый способ проверить индексацию страниц в Яндексе и Google

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от SeoPult, получаем информацию по всем URL и выявляем несоответствия.

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

Быстрый способ проверить индексацию страниц в Яндексе и Google

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

Быстрый способ проверить индексацию страниц в Яндексе и Google

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Скачать отчет можно в формате XLSX:

Быстрый способ проверить индексацию страниц в Яндексе и Google

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

Быстрый способ проверить индексацию страниц в Яндексе и Google

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Сколько стоит использование инструмента?

Проверка 1 URL в одной поисковой системе обойдется в 0,01 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 20 рублей, более крупного сайта на 10 000 страниц — 200 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Обнаружены расхождения — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

  • отдельные директивы для Яндекса и Google в robots.txt (в этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из Googlebot или Yandexbot; нужно проверить txt и при необходимости исправить директивы);
  • молодой сайт (требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины);
  • нет XML-карты сайта (она помогает поисковикам лучше понимать структуру сайта, поэтому ее стоит обязательно создать и разместить в корне сайта);
  • наличие дублей страниц (возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента; решение — найти и устранить дубли);
  • низкая скорость работы сайта (робот может попросту не дождаться ответа и уйти ни с чем; решение — найти «узкие места» и ускорить работу сайта);
  • редкое добавление контента (чем реже вы добавляете новые страницы, тем реже роботы посещают сайт; естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения; решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога);
  • редкое добавление контента (если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро; избежать этого помогает настроенный Last-Modified и регулярная актуализация информации);
  • санкции поисковиков (ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет; в этом случае поможет только выход из-под санкций);
  • более 4 уровней вложенности (в такой ситуации поисковик не успевает добраться до части «глубоких» страниц; решение — переосмыслите структуру сайта, максимально упростите ее).

Для точной диагностики причин проведите аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Анализ индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 10 бесплатных проверок!

Хотите дополнительно заработать? Поделитесь ссылкой на инструмент и получайте 10 % от расходов пользователей, которые перешли по ней.

Проверить индексацию страниц вашего сайта

Комментирование этой записи закрыто. 😶

Управление контекстной рекламой
в Яндекс Директ и Google Adwords
Вы выбираете площадки для рекламы
Автоматизированное управление
контекстной рекламой