Google не всегда проверяет каждую страницу сайта мгновенно. Иногда на это уходят дни, а то и недели.
Это способно спутать многие планы. Так, недавно оптимизированная целевая страница может попросту не попасть в индекс. Если такое произойдет, то, значит, пора оптимизировать краулинговый бюджет.
Разберем как это сделать далее.
Краулинговый бюджет - что это и почему?
Краулинговый бюджет - это количество страниц, которые поисковые боты могут просканировать в рамках одного дня. Число может быть двузначным, а может и трехзначным (а то и четырехзначным): 10, 500, 1000.
Количество страниц, которые просматривает Google - это и есть «бюджет». В него также включены ошибки на страницах, с которыми сталкивается Google и количество ссылок, ведущих на сам сайт. На некоторые из этих факторов вы можете повлиять. Об этом мы расскажем чуть позже.
Как работают боты?
Боты для краулинга (например, Googlebot) получают список URL-адресов сайта, которые нужно просмотреть. Они анализируют весь этот список и поглядывают в robots.txt за дополнительной информацией.
После того как бот просмотрел URL и разобрал его содержимое, он переходит на новую ссылку.
Как бот понимает, что ему нужно проанализировать тот или иной адрес?
Ну, список всех причин составить не получится при всем желании. Но стоит сказать, что боты пристально следят за соцсетями. Они мониторят происходящее в них и принимают решение на анализ исходя из того, что выяснили. «Горячие» темы охватываются охотнее.
Когда краулинговый бюджет является проблемой
Краулинговый бюджет проблема в том случае, если Google нужно просмотреть много URL на сайте (и если у него на это не окажется ресурсов). Скажем, у вас на сайте есть 250 тысяч страниц, и Google ежедневно просматривает 2500 из них каждый день. Некоторые из них (например, главную страницу) он будет просматривать чаще.
Если не предпринять никаких действий, пройдет 200~ дней, прежде чем Google заметит существенные изменения. Здесь краулинговый бюджет однозначно является проблемой. С другой стороны, если в день боты анализируют порядка 50 тысяч страниц, то все нормально.
Следующие действия помогут определить, есть ли у вашего сайта проблема с краулинговым бюджетом.
(Мы предполагаем, что на вашем сайте относительно небольшое количество ссылок, которые Google просматривает, но не индексирует (например, потому что вы заблаговременно добавили noindex).
- Подсчитайте, сколько вообще страниц есть на вашем сайте (их можно найти XML sitemaps).
- Зайдите в Google Search Console.
- Перейдите в Settings, затем оттуда в Crawl stats и подсчитайте среднее количество страниц, просматриваемых в день.
- Разделите общее количество страниц на число, получившееся в предыдущем пункте.
- Если оно превысит 10, то пора заняться оптимизацией бюджета. Это значит, что у вас буквально в десять раз больше страниц, чем Google способен просматривать ежедневно.
Какие URL-адреса просматривает Google?
Серверные логи - единственный реальный способ узнать это. Для больших сайтов можно использовать связку программ вроде Logstash + Kibana. Для небольших ресурсов вполне справится SEO Log File Analyser от Screaming Frog.
Изучите полученные логи
Не все хостинги позволяют доставать логи. Если ваш не дает, самое время найти новый. К сожалению или к счастью, но логи обязательны, когда дело доходит до выяснения необходимости регулировки краулингового бюджета.
Вообще оптимизация краулингового бюджета подобна ремонту автомобиля. Вы не сможете починить его одной лишь силой взгляда - вам в любом случае придется разбирать его (хотя бы частично).
Поначалу просмотр логов будет пугать - уж слишком порой там много «шума» в виде кучи страниц с ошибкой 404. Это все придется исправлять. Но не переживайте. Вопрос решаемый.
Увеличение краулингового бюджета
Давайте подумаем, что может повысить лимит страниц, которые бот Google может проанализировать.
Уменьшение количества нежелательных кодов состояния
Первый шаг - убедиться, что страницы возвращают или 200, или 301 код. Все остальные - дурной знак.
Чтобы выяснить, какие у вас на сайте коды, посмотрите логи с сервера. Мы не зря акцентировали внимание на их важности.
Кстати, тут есть одна проблем. Google Analytics (да и большинство других утилит для аудита) отслеживают только те страницы, на которых был получен код 200. Они не покажут, что у вас что-то не так.
Именно поэтому нужно изучать логи.
Получив их, найдите и исправьте ошибки. Самый простой способ сделать это - собрать все URL, которые не вернули 200 или 301, упорядочить их по частоте посещения и приступить к работе. Это самые востребованные страницы, так что не стоит откладывать. Исправление ошибок обычно значит, что вам придется заодно править и код.
Обычно.
Но не всегда.
Иногда достаточно просто перенаправить страницу.
И да, Google Search Console, в отличие от Google Analytics, вполне способен помочь с «битыми» ссылками, так что пользуйтесь.
Блокировка определенных частей сайта
Если на сайте есть разделы, которые не должны появляться в поисковой выдаче, заблокируйте их с помощью robots.txt. Делайте это только в том случае, если на все 100% уверены.
Оправданность таких мер едва ли поддается сомнению: одна из самых распространенных проблем, с которой мы сталкиваемся при работе с клиентами -наличие гигантского количества фильтров на их сайтах e-коммерции. Дело в том, что каждый из таких фильтров добавляет новые адреса. Абсолютно уникальные. Если в вашем интернет-магазине тоже много фильтров, убедитесь, что позволяете Google использовать только один (максимум два-три) из них.
Сокращение цепочки редиректов
Когда делается 301 редирект, то происходит… нечто странное. Google видит новый URL и добавляет его в свой список дел.
И проходит дальше.
И в этом проблема.
При цепочке редиректов, например, когда вы перенаправляете не-www на www, а затем http на https, у вас везде будет по два редиректа, и поэтому все будет делаться куда дольше.
Получение большого количества ссылок
Легко сказать, трудно сделать. Иметь много ссылок - это круто не только для вас, но и для ваших посетителей. Это показатель авторитетности. Получение качественных линков - вопрос хорошего PR и взаимодействия в социальных сетях.
В общем и целом, если у вас наблюдаются проблемы с индексацией, то в первую очередь следует обратить внимание на ошибки при краулинге: заблокировать части сайта и исправить цепочки редиректов. Построение ссылок - это достаточно медленный метод увеличения бюджета на краулинг, хоть и рабочий.
С другой стороны, наращивание ссылочной массы в любом случае должно быть частью процесса, если вы создаете большой сайт.
Подводя итог
Оптимизация краулингового бюджета - занятие не для слабонервных. Если вы хорошо обслуживаете свой сайт (ну или он относительно небольшой), то, скорее всего, в этом вообще нет необходимости. Если же сайт среднего размера и хорошо поддерживается, то вы легко сможете это сделать, опираясь на приведенные выше советы.
Однако если сайт крупный и им давно не занимались, то ситуация становится несколько сложнее..
Источник: https://yoast.com/crawl-budget-optimization/