Что делать со схожим контентом: канонизировать, применить тег noindex или не обращать на него внимание?

Представьте свой контент как груз. Есть ли у вас какой-то багаж, от которого вы могли бы теоретически избавиться? Вас тяготит то, что вы несете? Мы практически уверены, что вы со своими сотрудниками неоднократно сидели и думали о материале, который по-хорошему следовало бы вырезать. Но не делали этого. Почему? Потому что понимали, что он все еще нужен – для конкретного потребителя, для вас самих, для вашей же команды и т.д.

Пока мы ищем способы максимально сократить материал на сайтах, чтобы упростить контент-менеджмент, нам получается убить двух зайцев одним выстрелом. Мы не только организуем данные, но и облегчаем краулерам поиск и их анализ. Одна из главнейших целей любой SEO-кампании заключается в том, чтобы сделать посещение сайтов приятным и быстрым.

Мы размещаем контент не только для людей, но и для поисковиков. И к счастью, вторые действительно хотят понять наш материал. Мы можем им с этим здорово помочь, канонизировав спорные моменты (ну или загнав их под тег noindex). Однако будьте осторожны. Если не сделать все правильно, то важный контент сайта может быть неправильно «понят» поисковиками или вообще не прочитан.

Попробовать канонизацию?

Внедрение атрибута canonical — это отличный способ указать поисковым системам, что вы осведомлены о низкой ценности и уникальности контента на сайте, но что его не нужно удалять. Впрочем, внедрение канонического тега также является неплохим способом указать на ценность материала, который был позаимствован с другого домена (или наоборот).

Чтобы использовать канонический тег, поместите его в раздел, где находится код главной страницы. Тег canonical может быть отличным способом борьбы с контентом-дубликатом, который, вопреки убыткам, должен существовать для пользователей.

Если вами было принято решение о внедрении канонического тега, то внимательно изучите разделы своего сайта (если не сделали этого прежде). Вам нужно убедиться, что canonical подойдет ресурсу. Если нашли плюс-минус одинаковый контент на разных URL, то тогда это точно ваш случай.

Использование инструментов для аудита сайта, таких как Screaming Frog и Semrush Site Audit – быстрый и надежный способ увидеть схожесть контента. Если потребуется более глубокий анализ, воспользуйтесь инструментами Similar Page Checker или Siteliner. Они покажут вам полную картину происходящего.

Мы разобрались, как канонизировать страницу. Теперь нужно понять, в каких случаях к этому стоит прибегать:

Если на вашем сайте есть HTTP, HTTPS, www. страницы одновременно.

Поместите канонический тег на версию страницы с наиболее внушительным списком ссылок. И держите этот тег там, пока вы не сможете перенаправить все страницы-дубликаты к одной, главной.

Вы продаете продукты, которые очень похожи друг на друга

Если вы занимаетесь продажей схожих товаров (например, телефонов одного бренда, но разных поколений) и на этих страницах нет уникальных копии, но есть незначительные различия в названии, изображении, цене, то желательно диверсифицировать их с помощью тега canonical – пометьте главную страницу. Впрочем, вы можете ничего и не делать. Эти страницы в любом случае будут достаточно уникальными, чтобы Google их проиндексировал.

Вы продаете, скажем, футболки, но у вас есть уникальная страница для каждого цвета и размера

Проставьте канонические теги для страниц, посвященных цветам, чтобы они ссылались на главную страницу. Каждый URL-адрес – это не конкретный товар, а просто очень похожая его вариация.

Иногда даже слегка похожий контент по-прежнему может быть подходящим для индексации.

Ну вот представьте. А что, если бы это были, ну, совсем разные рубашки? С короткими, длинными рукавами, майки и т.д. По сути дела, это совершенно разные товары, но если правильно канонизировать главную страницу, то все эти позиции будут одинаково хорошо индексироваться.

Вот отличный пример:

У нас есть сайт, посвященный продаже автомобилей. На нем можно найти страницы, посвященные брендам машин. У одной марки может быть сразу несколько различных моделей. Вы можете подумать, мол, зачем нам захламлять поисковики этим почти одинаковым контентом, если мы можем канонизировать каждую из страниц, чтобы они ссылались на URL-адрес основной (самой новой, самой дорогой) модели как на своеобразную витрину.

Давайте предположим, что вы ставите тег canonical на главной странице сайта. Даже если вы продемонстрируете поисковикам всю ее важность, то последнее слово (индексировать ее или нет) по-прежнему останется за Google. Но, конечно, в подавляющем большинстве случаев она все-таки начнет индексироваться. Таким образом, ежемесячный трафик на всех страницах сайтах вырастет в несколько раз. Поисковик будет правильно понимать иерархию сайта.

Не допускайте этих ошибок!

• Установка канонических тегов, которые требуют перенаправления, может сыграть с вами злую шутку. Работа поисковых систем замедлится, поскольку они начнут «скакать» с одного URL на другой в попытках понять, какой же из них важнее.
• Не устанавливайте тег canonical на страницы с ошибкой 404. Это дорога в один конец для краулеров.
• Не используйте тег canonical для нерелевантных версий страниц (например, с www., вместо www.) Мы уже говорили о том, что с помощью инструментов для аудита можно обнаружить различные недочеты и ошибки, так что обращайте больше внимания на их заключения.

Попробовать noindex?

Вы также можете использовать noindex, чтобы полностью исключить появление одинакового материала в сети. Поместив тег в основной раздел кода вашего сайта, вы лишите поисковые системы возможности индексировать эти страницы.

Но будьте осторожны. Несмотря на то, что тег noindex – это быстрый способ исключить дублированный контент из «очереди» на ранжирование, он может быть фатален для вашего органического трафика.

Раньше тег noindex использовался для сортировки страниц на крупных сайтах, чтобы предоставить краулерам только самые важные URL-адреса. Так у компаний получалось сэкономить большое количество средств, выделенных на продвижение сайта. Но сейчас вы скорее будете использовать этот тег, чтобы поисковые системы видели все релевантное содержимое сайта и понимали иерархию страниц в нем.

Используйте noindex, если уверены в том, что он поможет вам разграничить контент. Вот несколько уместных примеров, как его можно применять в современных реалиях SEO:

Для выделения отдельной страницы и размещения на ней официальных документов от производителя

Это хороший способ убедить клиентов в надежности вашей продукции. Но noindex здесь проставляется не просто так – отнюдь. Внедрение этого тега позволит разграничивать вашу компанию и производителя, чтобы вы случайно не стали его сателлитом, и он не набирал рейтинг за ваш счет.

Для диверсификации нескольких схожих, но разных продуктов

Здесь мы имеем в виду товары, которые отличаются в каких-то незначительных моментах. Например, цветом, размером, количеством и т.д. Канонический тег здесь сработает просто на ура. И даже поиск по «длиннохвостому» ключу сможет привести ликвидный трафик, поскольку страница будет хорошо ранжироваться.

У вас много устаревших товаров, которые вы больше не хотите продавать

Идеальный сценарий для внедрения тега noindex. Воспользуйтесь программами для аудита, чтобы выяснить какой товар перестал быть ликвидным, после чего примите соответствующие меры. Но не удаляйте страницы насовсем – сделайте так, чтобы они перенаправляли пользователя на другие URL-адреса (более актуальные, которыми вы пользуетесь на данный момент).

Не жертвуйте своим рейтингом и трафиком ради краулеров

Конечно, мы хотим создать впечатление у поисковых систем, что большая часть нашего контента уникальная и релевантная. Мы также, вероятно, должны стремиться к тому, чтобы не отнимать у Google или любой другой поисковой машины время на детальный анализ наших сайтов. Проще говоря – нужно стремиться к упрощению. Например, к уменьшению количества схожих страниц. С этим, собственно, и помогают канонические (и noindex) теги.

Обратите внимание на эту картинку. Здесь, на этом графике, отображено общее количество ключевых слов, которые «перетекли» с одного домена на другой:

Когда noindex теги были убраны, общее количество ранжируемых терминов выросло аж на 50%.

Не допускайте этих ошибок!

• Не размещайте noindex на лендинговой странице. Подумайте над тем, чтобы перенаправить ее на другую релевантную страницу сайта. Размещение тега на посадочной странице сведет ваш ссылочный потенциал к минимуму.
• Если вы не индексируете страницу, входящую в навигацию, убедитесь, что не перепутали теги noindex и nofollow с noindex и follow и наоборот.

Конечно, расставание с контентом, в который вы вложили силы – это обидно и печально. Но этого можно избежать, если правильно воспользоваться тегами canonical и noindex.