11 советов для улучшения поисковой индексации

SEO – это своего рода машина с кучей деталей. Часто так получается, что мы скачем от одной части сайта к другой, постоянно что-то меняя то тут, то там.

Как только вы почувствуете, что набрались достаточно опыта и перестали быть новичком, вас может посетить вопрос в духе: «А как я вообще могу оптимизировать свою работу, чтобы не делать лишнего?»

Так вот регулярный контроль краулинга и индексируемости – это как раз то, что вы можете наловчиться делать быстрее, чтобы сэкономить драгоценное время; потратить его на другие, не менее важные аспекты SEO-продвижения.

Я привык говорить, что сайт, у которого есть проблемы с индексацией – это упрямый и глупый сайт. Он буквально кричит Google о том, что его не нужно ранжировать.

Если вам кажется, что регулярная проверка индексации – это скучная и сложная задача, которая не приведет к значимым результатам, подумайте еще раз.

Проблемы с индексацией могут привести к резкой утрате рейтинга и быстрому падению органического трафика. Поэтому бюджет, выделяемый на индексацию, должен быть большим.

Сейчас я расскажу вам об 11 фишках, которые помогут улучшить индексацию практически любого вашего сайта. Поехали.

Краулите с помощью Google Search Console

Краулить каждый месяц-два важно для выявления ошибок, которые могут повлиять на общую маркетинговую эффективность вашего сайта. Это буквально самое первое в SEO, что вообще нужно сделать; без регулярного краулинга остальные вещи просто не будут иметь смысла.

На вкладке index в Google Search Console будет находиться практически вся нужна информация.

Если вы захотите удалить доступ к определенной веб-странице, это можно будет сделать прямо в Search Console. Это может быть полезно, если на странице временно отображается ошибка 404.

Но будьте аккуратны. Параметр 410 навсегда удалит страницу из индекса, поэтому резонность его использования часто находится под вопросом.

Распространенные ошибки краулинга и способы их решения

Ошибки краулинга бывают разными. Они хоть часто и решаются достаточно просто, но в некоторых случаях могут свидетельствовать о более серьезных технических проблемах на вашем сайте.

Наиболее распространенные ошибки таковы:

• Ошибки DNS.
• Ошибки сервера.
• Ошибки rtxt.

Чтобы диагностировать некоторые из этих ошибок, можно воспользоваться инструментом URL Inspection и посмотреть на ваш сайт глазами Google.

Невозможность правильно получить и отобразить страницу может свидетельствовать о более глубокой ошибке DNS, которую необходимо устранять с помощью провайдера.

Для устранения проблем с DNS потребуется уже глубокая диагностика. К наиболее распространенными ошибкам можно отнести:

• Timeout.
• Connection refused.
• Connect failed.
• Connect timeout.
• No response.

В большинстве случаев ошибка сервера обычно носит временный характер, хотя при постоянной проблеме может потребоваться обратиться непосредственно к хостинг-провайдеру.

А вот ошибки, связанные с файлом robots.txt, уже куда сильнее могут навредить вашему сайту. Если вы видите ошибки 404, это означает, что поисковые системы испытывают трудности с поиском этого файла.

Вы можете воспользоваться файлом sitemaps, или вовсе избегать применения всех этих протоколов, выбрав ручную индексацию страниц, которые вызывают трудности с «перевариванием» у поисковиков.

Быстрое устранение ошибок с DNS и robots.txt гарантирует, что все нужные страницы будут просмотрены и проиндексированы поисковыми системами в следующий раз, когда машина Google займется очередной проверкой.

Создавайте оптимизированные версии для мобильных устройств

Когда Google начал отдельно анализировать мобильные версии сайтов, у многих компаний появилась острая нужда в их оптимизации, чтобы оставаться «на плаву»

Есть две новости – хорошая и плохая. Начнем с хорошей. Она заключается в том, что десктопная версия все равно будет проиндексирована и отображена даже в мобильном сегменте. Если не существует специальной версии для мобильных устройств.

Плохая же новость заключается в том, что в результате подобной индексации могут пострадать ваши рейтинги.

Есть много вещей, которые можно сделать для оптимизации сайта под мобильную платформу. Среди них:

• Создание дружелюбного и визуально притягательного интерфейса.
• Вставка мета-тега viewpoint.
• Минимальное использование скриптов CSS и JS на странице.
• Разметка страниц с помощью AMP кэша.
• Сжатие изображений с целью ускорения загрузки.
• Уменьшение размеров элементов интерфейса на странице.

Обязательно протестируйте свой сайт на мобильном устройстве (смартфоне, планшете) и прогоните его через утилиту Google PageSpeed Insights. Скорость страницы является важным фактором ранжирования и может сильно сказаться на рейтинге сайта.

Регулярно обновляйте контент

Поисковики начнут просматривать ваш сайт чаще, если контент на нем будет постоянно обновляться.

Регулярное обновление контента сигнализирует поисковым системам, что ваш сайт постоянно совершенствуется и на нем публикуются новые материалы. Это для Google знак, что на него нужно перенаправлять как можно больше пользователей, чтобы вы могли найти свою ЦА.

Пользуйтесь файлом sitemaps

Очень хорошо помочь индексации можно, если регулярно отсылать sitemaps файл в Google Search Console или Bing Webmaster Tools. XML файл можно создать самостоятельно, но не без помощи специальных утилит. Еще в Search Console можно разметить все канонические страницы (если найдутся две, имеющие практически одинаковое содержание) – это также может здорово помочь вашему SEO.

Оптимизируйте перелинковку

Структура сайта – очень важный пункт при индексации. Уделите ей время. Продумайте стратегию по работе с ссылками.

Можно, например, создать отдельную категорию для некоторых услуг, где будут размещаться все связанные с тематикой страницы. Такой подход поможет поисковикам правильно индексировать содержимое веб-страниц, когда у сайта нет определенного направления и он предлагает много услуг одновременно.

Синдицирование – стоит ли игра свеч?

Если веб-страница или субдомене была создана отдельно из-за ошибки, мешающей сканированию, вы можете проиндексировать ее вручную.

Вообще индексация вручную хорошо помогает для продвижения новых страниц на сайте. Это нужно запомнить.

Но будьте осторожны с синдицированием. Синдицирование контента – это такая процедура по предоставлению контента другим сайтам. Она может как помочь вам с продвижением, так и все испортить. Если вы позаимствуете материал у другого ресурса, будьте готовы к тому, что поисковику это может не понравиться. Google частенько игнорирует синдицированные страницы, но с этим помогает своевременное вписание тега canonical.

Уберите с сайта ненужное и некачественное – сократите время загрузки

Заставлять Google индексировать неоптимизированный контент – плохая идея. Так вы можете попросту израсходовать свой бюджет, так и не добившись высокого рейтинга.

Многим поисковикам вообще трудно работать с разного рода файлами и скриптами. И если с неоптимизированными картинками все достаточно очевидно, то факт, что Google часто игнорирует скрипты JS, может повергнуть некоторых юзеров в шок.

Постарайтесь минимизировать присутствие различных скриптов на сайте, и ваш краулинговый бюджет скажет вам спасибо.

Займитесь страницами с тегом noindex

Использование тега noindex – это оправданный шаг, но не всегда. Он уместен на тех страницах, которые будут демонстрироваться пользователю только после того, как он совершит определенное действие (активирует какой-либо скрипт, например).

Если обнаружите, что некоторые ваши страницы с тегом noindex совсем перестали индексироваться – от себя рекомендую использование утилиты Screaming Frog для нахождения таких URL и работы над ошибками.

Если ваш сайт сделан на движке WordPress, то в магазине приложений вы можете найти один полезный плагин под названием Yoast. С его помощью можно легко менять тег с index на noindex.

Ограничьте анализ Google

В некоторых (старых) версиях Google Search Console можно настроить частоту сканирования вашего сайта поисковой машиной Google. Это может выиграть вам время для внесения необходимых правок, если ваш сайт, например, переезжает на другой хостинг, или на нем полностью меняется содержание.

Удалите дублирующийся контент

Большого количества одинакового контента может оттолкнуть Google, и он начнет с «неохотой» краулить ваш сайт. Это будет значить, что бюджет потратится впустую.

Вы можете избавиться от дубликатов, либо скрыв эти страницы от индексации, либо поместив тег canonical на одну из них – на ту, которая должна индексироваться.

Также стоит поработать над метатегами, чтобы поисковики не считали две страницы с одинаковым (схожим) содержимым копиями.

Давайте Googlebot сканировать только нужное вам

Вручную «запретить» Гуглу сканировать некоторые ваши страницы можно следующими способами:

• Разместить тег noindex.
• Поместить URL-адрес в файл robots.txt.
• Полностью удалить страницу.

Подведем итоги

Решение проблем с сайтом во многом зависит от вас и только от вас. Но у вас есть полезные инструменты, которые помогут на этом нелегком поприще – например тот же Google Search Console. Просто запустите сканирование страницы в нем, и вы узнаете, над чем следует поработать.