Не позволяйте своему контенту оставаться незамеченным. Узнайте о том, что попало в графу «Исключено» в Google Search Console в отчете «Покрытие» и исправьте.
Google Search Console позволяет пользователю посмотреть на свой сайт так, как его видит Google.
Вы получите информацию о производительности сайта, имеющихся брешах в безопасности; о краулинге, о том, как индексируется сайт и т.п.
Часть отчета, помеченная как «Исключено» в Google Search Console «Покрытие» предоставляет детальную информацию об индексации страниц сайта.
Узнайте, почему некоторые страницы вашего ресурса попадают в графу «Исключено» в Google Search Console и как это исправить.
Что показывает графа «Покрытие»
Отчет Google Search Console «Покрытие» показывает подробную информацию об индексации веб-страниц вашего сайта. Они могут попасть в одну из следующих четырех «корзин»:
- Ошибка: Страницы, которые Google не может проиндексировать. Вы должны просмотреть этот отчет, поскольку Google считает, что вы, возможно, хотите, чтобы эти страницы были проиндексированы.
- Без ошибок, есть предупреждения: Страницы, которые Google индексирует, но есть некоторые проблемы, которые вам следует устранить.
- Страница без ошибок: Страницы, которые Google индексирует.
- «Исключено»: Страницы, которые исключены из индекса.
Нас интересует графа «Исключено». Так что же она значит?
Дело в том, что Google не индексирует страницы, которые попали в категорию «Исключено» или «Ошибка». Но эти две категории, тем не менее, имеют существенное отличие друг от друга:
- Google считает, что страницы в графе «Ошибка» должны быть проиндексированы, но сделать это, впрочем, не представляет возможным – до тех пор, пока ошибки не будут изучены лично вами. Например, неиндексируемые страницы на базе языка разметки XML попадают в категорию Ошибка.
- Что касаемо «Исключено»: Google действительно убежден в том, что страницы в этой категории не должны индексироваться – вне зависимости от того, есть ли у них проблемы, которые можно решить. Они неликвидны.
Однако Google не всегда стратифицирует их правильно, и страницы, которые должны быть проиндексированы, попадают в «Исключено». Вместо «Ошибка».
К счастью, Google Search Console сообщает пользователю о причинах помещения страниц в ту или иную категорию.
Именно поэтому «благим делом» считается тщательный анализ страниц во всех четырех категориях. Но пока вернемся к страницам из категории «Исключено».
Почему страницы попадают в «Исключено»
Всего Google Search Console показывает 15 возможных причин, по которым веб-страницы попадают в группу «Исключено». Давайте рассмотрим каждую из них подробнее.
Исключено тегом noindex
Речь об URL-адресах, которые имеют тег noindex.
Google полагает, что вы на самом деле хотите исключить эти страницы из индексации в принципе, поскольку не указали их в XML sitemap. К ним, как правило, относятся: страницы для входа в личный кабинет, профиля пользователей, поисковые результаты.
Что можно сделать:
- Перепроверьте эти URL-адреса еще раз, чтобы убедиться, что вы точно хотите исключить их из индексации Google.
- Проверьте, присутствует ли тег noindex в этих ссылках.
Страница просканирована, но пока не проиндексирована
Google обратил внимание на страницы, но все еще не проиндексировал их.
Как говорится в пояснении от самого сервиса: «URL-адреса, находящиеся в этой категории, могут быть проиндексированы в будущем, а могут и не быть; нет необходимости повторно отправлять запрос на индексацию».
Многие SEO-специалисты неоднократно отмечали, что у сайта могут быть серьезные проблемы с качеством, если многие полезные и адекватные страницы попадают в раздел «Страница просканирована, но пока не проиндексирована».
Это может означать, что Google просмотрел эти страницы и считает, что они не представляют достаточной ценности для индексации.
Что можно сделать:
- Пересмотрите свой ресурс с точки зрения качества исполнения и обратите внимание на E-A-T.
Обнаружена, не проиндексирована
Как говорится в документации Google, страница под заголовком «Обнаружена, не проиндексирована» была найдена Google, но еще не проиндексирована.
Google не стал просматривать страницу, чтобы не перегружать сервер. Большое количество страниц в этом списке может свидетельствовать о том, что у вашего сайта проблемы с краулинговым бюджетом.
Что можно сделать:
- Проверьте состояние сервера.
Не найдено (404)
Это страницы, которые при запросе Google выдают ошибку 404.
Это не URL-адреса, «предоставленные лично» поисковой машине (например, файлом sitemap). Это Google самостоятельно обнаружил эти страницы (например, через другой сайт, который ссылается на уже несуществующую страницу).
Что можно сделать:
- Проанализируйте эти страницы и решите, следует ли прибегать к 301 редиректу на актуальный и рабочий сайт.
Ошибка 404
Ошибка 404 – код ответа сервера, который указывает, что он (сервер) не смог найти запрошенный URL-адрес.
Также под «Ошибка 404» часто подразумевается страница, практически не содержащая никакого контента, и на которой можно найти только ходовые фразы в духе «извините», «ошибка», «не найдено» и т.д.
Что можно сделать:
- Для страниц с откровенно плохим содержанием добавьте уникальный контент, чтобы Google начал распознавать этот URL обособленно.
- Не забудьте выгрузить все 404 из Google Search Console.
Страница с переадресацией
Все переадресованные страницы на вашем сайте попадают в раздел «Исключено», где вы можете внимательно их изучить.
Что можно сделать:
- Внимательно просмотрите все страницы, чтобы убедиться в правильности редиректа.
- Некоторые плагины WordPress могут автоматически производить редирект при изменении URL – следует периодически просматривать такие страницы.
Страница является копией. Канонический вариант не выбран пользователем
Google считает, что URL-адреса с этой меткой являются дубликатами и, следовательно, не должны индексироваться.
Такое случается, если вы забыли установить атрибут тега link rel=canonical тег для нужного адреса. Google сам выбрал каноническую страницу: основываясь на других моментах.
Что можно сделать:
- Проверьте эти URL-адреса, чтобы узнать, какую из страниц Google выбрал канонической.
Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают
В этом случае вы указали канонический тег для страницы, но, несмотря на это, Google выбрал в качестве предпочитаемого ресурса другой сайт. Как итог: выбранный Google URL индексируется, а выбранный пользователем - нет.
Что можно сделать:
- Проверьте URL-адрес, чтобы узнать, какой сайт был выбран каноническим.
- Изучите все поводы, которые заставили Google выбрать неправильный канонический (например, могли повлиять внешние ссылки).
Страница является копией. Отправленный URL не выбран в качестве канонического
Разница между вышеописанным и этим статусом заключается в том, что в последнем случае URL-адрес был отправлен в Google для индексации, но при этом у него не был указан тег link rel=canonical. Это дает повод поисковой машине считать, что другой URL будет смотреться более уместно в качестве каноничного.
Как результат: индексируется адрес, выбранный Google, а не отправленный вами.
Что можно сделать:
- Проверьте URL, чтобы узнать, какой канон выбрал Google.
Вариант страницы с тегом canonical
Это дубликаты страниц, которые Google распознает как канонические URL.
Что можно сделать:
- В большинстве случаев вмешательство не требуется. Не переживайте.
Заблокировано в файле robots.txt
Страницы, закрытые мета-тегом robots.txt.
При анализе этого блока следует помнить, что Google все еще может индексировать такие страницы (и отображать их в урезанном, «неполноценном» виде). Но только в том случае, если поисковик Google найдет ссылку на них – например, на других сайтах.
Что можно сделать:
- Проверьте, закрыты ли страницы для индексации.
- Добавьте тег noindex и удалите страницы из robots.txt.
Заблокирован инструментом удаления страниц
В этом отчете перечислены страницы, удаление которых было запрошено инструментом Removal.
Следует помнить, что эта утилита удаляет страницы из результатов поиска только временно (на 90 дней) и не препятствует им индексироваться.
Что можно сделать:
- Проверьте, действительно ли должны эти страницы быть удалены. Или иметь тег noindex.
Страница не проиндексирована вследствие ошибки 401
В случае с этими URL Googlebot не смог получить доступ к страницам из-за запроса на авторизацию (ошибка 401).
Если эти страницы не должны быть доступны без авторизации, вам не нужно ничего делать. Google просто информирует вас о том, с чем он столкнулся.
Что можно сделать:
- Проверьте, действительно ли эти страницы должны (или не должны) требовать авторизации.
Страница заблокирована из-за ошибки 403
Эта ошибка обычно свидетельствует о том, что проблема на стороне сервера. Она появляется, когда предоставленные полученные данные не соответствуют действительности. Ее очень желательно исправить, либо и вовсе – заблокировать страницу с помощью robots.txt или noindex.
Внезапные и огромные всплески количества исключенных страниц могут указывать на серьезные проблемы сайта.
Что можно узнать о страницах из категории «Исключено»
Различные ошибки, которые выдает вам Google Search Console после проведенного аудита, могут свидетельствовать о разных вещах. Так, например:
- Большое количество страниц с ошибкой 404 может указывать на неудачную миграцию: когда URL-адреса были изменены, но перелинковка не реализована (или реализована крайне неудачно).
- Большое количество страниц с пометкой «Страница просканирована, но пока не проиндексирована» или «Обнаружена, не проиндексирована» может указывать на то, что ваш ресурс был взломан. Обязательно просмотрите все ваши страницы, чтобы проверить, действительно ли они принадлежат вам или появились в результате взлома (взломанные страницы часто сопровождаются визуальными, графическими багами. Например, обилием китайских иероглифов).
- Большой количество страниц с пометкой «Индексирование страницы запрещено тегом noindex» также может указывать на неудачную миграцию. Такое часто случается, когда у нового сайта остаются прежние теги noindex, что были у прошлого сайта.
Благодаря разделу «Исключено» в отчете GSC «Покрытие», вы можете узнать многое о вашем сайте и о том, как Googlebot взаимодействует с ним.
Независимо от того, являетесь ли вы начинающим SEO-специалистом или уже имеете несколько лет опыта за спиной, сделайте проверку Google Search Console своей привычкой.
Это поможет вам обнаружить различные технические SEO-проблемы до того, как они превратятся в настоящие катастрофы.
Источник: https://www.searchenginejournal.com/excluded-pages-google-search-console/453226/
