В статье мы разберем ключевые аспекты индексации веб-страниц поисковыми системами. Узнайте, как индексация влияет на процесс ранжирования, как ускорить индексацию ваших страниц и что такое бюджет на индексацию. Эта информация поможет вам разработать более эффективные технические стратегии SEO оптимизации и улучшить видимость вашего сайта в результатах поиска.
Поисковые системы постоянно совершенствуют свои способы анализа и индексирования сайтов. Понимание того, как Google и Bing подходят к этому делу необходимо для реализации технически-грамотного SEO. Оно также пригодится при разработке стратегий для улучшения видимости.
Индексация: как сейчас работают поисковики
Давайте рассмотрим основные принципы работы поисковых систем.
Индексирование – это то, с чего начинается процесс ранжирования после того, как сайт был изучен ботами Google.
По сути, индексирование – это добавление содержимого страницы в Google, чтобы оно учитывалось при ранжировании.
Когда вы создаете новую страницу на своем сайте, у вас есть несколько вариантов, как ее проиндексировать. Самый простой, как бы это странно не прозвучало, — это не делать абсолютно ничего. У Google есть свои сканеры, которые переходят по ссылкам, так что поисковая машина рано или поздно обнаружит весь контент, что вы добавляете.
Как ускорить индексацию?
Но что, если вы хотите, чтобы боты Google быстрее добирались до страниц? Скорость, с которой они это делают, может быть критически важна, поскольку если ваш контент не является вечнозеленым, то вы просто потеряете трафик.
Можно использовать несколько приемов, чтобы увеличить количество переходов ботов по ссылкам. В основном это касается оптимизации важных страниц или корректировок в title и description.
Если вы хотите быть уверенными в том, были эти корректировки приняты Google или нет, то можно воспользоваться:
XML
XML – это пусть и старый, но надежный способ привлечь внимание поисковых систем к контенту. Файлы sitemaps предоставляют Google список всех страниц вашего сайта и дополнительную информацию о них. Например, когда их изменяли в последний раз.
Файлы sitemaps могут быть отправлена в Bing через Bing Webmaster Tools, или в Google через Search Console.
Но если вам нужно, чтобы страница была проиндексирована здесь и сейчас, этот способ не подойдет.
Запрос через Google Search Console
В Search Console вы можете запросить принудительную индексацию. Для этого нужно нажать на строку, где написано Inspect and URL in domain.com. Далее вам нужно будет ввести URL, который вы хотите проиндексировать, а затем нажать Enter.
Если Google уже и так знает об этой странице, то вам будет предложено множество информации. Убедитесь в этом сами – войдите в систему и посмотрите, что там есть, если вы этого еще не сделали.
Нас, впрочем, интересует другая кнопка:
С ее помощью можно «попросить» Google проиндексировать страницу. Если заявка будет одобрена, то уже в течение нескольких минут вы обнаружите внесенные изменения на странице в SERP.
Применение IndexNow
Для оповещения поисковых систем о новом контенте Bing использует открытый протокол, основанный на методе push. Он называется IndexNow. Его идея заключается в том, чтобы своевременно предупреждать поисковые системы о том, что страницы обновились.
Примером протокола pull является XML sitemap.
Преимущество IndexNow заключается в том, что он расходует меньше ресурсов хостинга и центров обработки данных, что не только более экологично, но и практично.
Однако самым большим преимуществом является более быстрое индексирование контента.
В настоящее время IndexNow используется только Bing и Yandex.
Внедрить IndexNow очень просто:
- В виде плагина для WordPress.
- В виде модуля для Drupal.
- Вместе с Cloudflare.
- Вместе с
Bing Webmaster Tools
В дополнение к IndexNow, подумайте о применении Bing Webmaster Tools.
Если у вас еще нет учетной записи Bing Webmaster Tools, то я настоятельно рекомендую вам ее завести.
Предоставляемая там информация поможет вам объективно оценить проблемные области и улучшить ранжирование в Bing, Google, и, как следствие, обеспечить клиентам наилучший опыт.
Для того, чтобы ваш контент был проиндексирован, вам нужно просто нажать на Configure My Site > Submit URLs.
Далее введите адресы, который хотите проиндексировать, и нажмите Submit:
Это самое важное, что вам нужно знать об индексировании, и о том, как поисковики его выполняют. Более подробную информацию можно найти в документации Bing Webmaster Tools URL Submission Tool.
Существует также Bing Webmaster Tools Indexing API, который способен сократить время появления контента в результатах поиска. Возможно, вы также захотите попробовать и его.
Бюджет на индексацию
Нельзя говорить про индексацию, не затронув ресурсный аспект.
Бюджет на индексацию подразумевает под собой количество ресурсов, которые Google тратит на сканирование сайта. Размер бюджета основывается на совокупности двух факторов:
- Насколько хорошо работает сайт – то есть сколько времени боты смогут комфортно перемещаться по вашему сайту.
- Насколько сайт важен для пользователей.
Если у вас крупный новостной сайт с контентом, который постоянно обновляется, его будут просматривать часто.
Если вы, скажем, владеете небольшой парикмахерской или кафе, и имеете пару десятков ссылок, то сайт будут просматривать редко.
Подробнее о бюджете и о том, как он определяется, вы можете прочитать в официальной документации Google.
Виды сканирования
Индексация в Google начинается со сканирования, которое бывает двух видов:
- Discovery – когда поисковая машина находит совершенно новые страницы для их последующей индексации.
- Refresh – когда поисковая машина индексирует страницу повторно, поскольку та изменялась.
Оптимизация сайтов для поисковых систем начинается с хорошего контента и заканчивается его отправкой на индексацию. Независимо от того, делаете ли вы это с помощью XML sitemap, Google Search Console URL Submission Tool, Bing Webmaster Tools или IndexNow, получение проиндексированного контента — это начало вашего пути к вершине в SERP.
Источник: https://www.searchenginejournal.com/search-engines/website-indexing/
