На сегодняшний день боты - это фактически неотъемлемая частью цифрового пространства. С их помощью мы заказываем продукты из магазина, слушаем музыку, перечисляем деньги и делаем еще сотню тысяч различных вещей. И несмотря на то, что мы привыкли использовать ботов в своих целях, у них есть свое подобие жизни. Она «населяют» интернет, занимаясь там тем, на что их запрограммировали их создатели.
Но что все это значит для владельцев сайтов?
А что для клиентов?
Давайте разберемся, что из себя представляет трафик ботов, и почему вам стоит детально разобраться в вопросе, даже если вы не являетесь SEO-экспертом. Поехали!
Что из себя представляет трафик ботов
Начнем с того, что бот - это, как правило, искусственный интеллект, предназначенный для выполнения некоторых задач в интернете. Стоит сразу оговориться, что задачи эти обычно очень простые (прокликать что-то, написать односложный комментарий и т.д.)
Но не все так просто. Некоторые боты вполне способны мимикрировать под человека, реалистично копируя его модель поведения.
Боты просто отлично справляются с рутинными и однообразными задачами. Вкупе с тем, что они способны выполнять несколько действий одновременно, боты становятся просто настоящим кладезем, когда дело доходит до выполнения масштабных задач, которые окажутся не под силу любому человеку.
Когда говорят о бот-трафике, обычно имеют ввиду любой фейковый трафик, который получает ресурс. Но на самом деле это нормальное явление в интернете. Если у вас есть сайт, то его однозначно (хотя бы раз) посещал бот.
Чтобы вы понимали масштабы: экспертами-аналитиками было подсчитано, что в 2022 году на ботов будет приходиться более 40% всего интернет-трафика. За последние несколько лет этот показатель только и делал, что увеличивался. Так будет продолжаться и дальше.
Такие новости могут показаться тревожными для многих из нас, поскольку мы привыкли слышать, что боты очень сильно вредят трафику и репутации сайта. Во многих случаях это правда, но не все так однозначно. Существуют и «хорошие» боты. То есть все по большей части зависит лишь от того, с какой целью кодился этот ИИ, и на что он заскриптован. Некоторые боты необходимы для работы цифровых сервисов: поисковых помощников и систем. Но есть и такие боты, которые создавались хаккерами лишь с одной целью - взломать ваш сайт и поиметь с него прибыль. Что ж, давайте разберемся подробнее в этих двух видах ИИ, чтобы понимать, что к чему.
«Хорошие» боты
Начнем с «хороших». Такие боты выполняют задачи, которые не причиняют вреда сайту или серверу. Они обычно используются только для мониторинга, поэтому вы всегда знаете, на что направлены усилия ИИ в этом направлении.
Самыми популярными ботами этого типа, вероятно, являются поисковые роботы. Без них у поисковиков не было бы возможности предоставлять вам информацию, когда вы что-то ищете. Это совершенно нормально, когда определенный процент трафика сайта состоит из подобных, «хороших» ИИ. Но, помимо поисковых, к безвредным и полезным ботам также можно отнести:
- SEO-боты - если вы работаете в сфере SEO, то наверняка и даже не один раз пользовались инструментами для аудита по типу Ahrefs или Semrush: для исследования ключей или получения детальной информации о конкурентах. Но вы, наверное, не знали, что для работы сервис использует ботов, которые краулят те ссылки, что вы им предоставляете.
- Коммерческие боты - некоторые компании разрабатывают собственные ИИ с уникальным набором алгоритмов для сбора информации. Ну, например, организации используют таких ботов для отслеживания всех тенденций на рынке, для мониторинга рекламы.
- Боты для аудита сайта - такой вид ИИ помогает следить за различными показателями сайта. Если вы заметите, что с вашим ресурсом что-то не так: упал показатель органического трафика, вы сдвинулись по SERP вниз, то ИИ для аудита покажут вам, где именно находится проблема. Они также подскажут, что можно сделать для ее устранения.
- Боты-агрегаторы - на самом деле это те самые боты для аудита, только агрегаторные занимаются сбором контента для клиентов и его распределением по категориям. Также такой ИИ часто занимается массовой рассылкой по электронной почте или по номерам телефонов. Но это все еще не спам, потому как рассылка является таргетированной и строго-ограниченной.
«Плохие» боты
Что до «плохишей» - как понятно из названия, создаются они с неблагоприятным или исключительно коммерческим умыслом. Вам наверняка неоднократно приходилось видеть спам-ботов, которые постят на сайте тысячи бессмысленных комментариев, сопровождая их нерелевантными обратными ссылками и просто отвратительной, навязчивой рекламой. Думаем, вам также неоднократно приходилось слышать об ИИ, который скупает все лотерейные билеты в первые же секунды после их появления. Да, мы говорим именно об этих крайне неприятных людях и их злых творениях.
Именно из-за этого вредоносного ИИ бот-трафик получил плохую репутацию в SEO-пространстве, и даже нельзя сказать, что это справедливо. К сожалению, в настоящее время интернет просто наводнен спаммерскими ботами. По прогнозам аналитиков, под конец 2022 года трафик вредоносных ботов будет составлять примерно 27% от всего количества (против 40% у «хороших» ребят).
Вот примеры «плохих» ботов:
- Скрейперы - такой ИИ собирает адреса электронной почты различных пользователей, а затем массово рассылает на них письма с вредоносным содержимым. Кстати, скрейперы могут ориентироваться не только на электронную почту, но и на сайты. Многие боты заходят на сайт, скачивают там все, до чего дотянутся их руки, а затем используют полученный контент в своих целях. Если что - воруют они практически все: начиная от HTML-разметки и заканчивая видео, аудио и другими медиафайлами.
- Спамеры - наводняют ваш сайт ссылками, которые перенаправляют людей на фишинговый или скаммерский ресурс. Часто также бывает, что такие боты спамят в комментариях чтобы получить обратные ссылки.
- Скаммеры и стилеры - пытаются получить доступ к вашему сайту, чтобы украсть конфиденциальную информацию. Как правило, они притворяются настоящими пользователями, регистрируются на ресурсе, и после этого начинают приводить свой зловещий план в исполнение.
- Ботнеты - это не совсем боты в их привычном понимании, но сети, используемых для проведения DDoS-атак. Во время такого нападения злоумышленник наводняет ресурс ботами, что приводит к перегрузке веб-сервера запросами. Ну и как итог: сайт просто-напросто «падает» и перестает работать.
- Тикет-боты - такой ИИ предназначен для внедрения на сайты с целью массового приобретения билетов или только что выпущенных товаров. Сюда же, кстати, относятся и те боты, которые скупают вещи на предзаказах. Обычно их применяют перекупщики, которые стремятся заполучить товар по максимально низкой цене, чтобы потом перепродать его дороже.
Почему вас должен волновать трафик ботов
Мы разобрались в том, что из себя представляет бот-трафик, и какие разновидности ботов существуют. Теперь давайте поговорим, как все это влияет на безопасность и производительность вашего сайта.
Понятно, что вам не захочется видеть «плохих» или вредоносных ботов на своем сайте. Никто не захочет.
Вредоносные боты маскируются под обычный человеческий трафик, поэтому они могут быть незаметны при проверке статистики сайта. На самом деле, это может принести серьезные убытки, поскольку вы не будете знать точно, что составляет львиную долю ваших посещений - соответственно, не сможете принимать правильные и своевременные решения.
Кроме того, трафик вредоносных ботов нагружает сервер, а иногда и вовсе заставляет его «лечь». Ни в коем случае не стоит недооценивать опасность «плохих» ботов, когда разговор заходит о DDoS-атаках. Чуть ранее мы уже выяснили, какую угрозу несут ботнеты: пока ваш сайт будет находиться в нерабочем состоянии, вы можете потерять множество потенциальных клиентов.
Ну и последнее, на что хотелось бы обратить ваше мнение - вредоносные боты разрушительны не только в краткосрочной, но и в долгосрочной перспективе. Они будут пытаться проникнуть на ваш сайт любым доступным способом. Это может быть как попытка заполучить пароль и логин, так и что-то более серьезное: например, загрузка вредоносного ПО, которое украдет все ваши данные. Если у вас есть уязвимости в безопасности сайта, рекомендуем вам немедленно устранить их.
Опасность для экологии и окружающей среды
Наверное, это станет для читателей сюрпризом, но «плохие» боты оказывают пагубное влияние не только в интернет-пространстве, но и в реальности. «Как так?», - спросите вы. Ну, смотрите:
Когда бот посещает ваш сайт, он делает HTTP-запрос к серверу, на котором находится ресурс. Бот запрашивает информацию, на которую хостинг должен ответить, вернув при этом запрос. Каждый раз, когда это происходит, сервер тратит определенное количество энергии, чтобы выполнить этот запрос. Да, конечно, на один ИИ не уйдет много энергии, но только представьте, что таких ботов тысячи, а то и миллионы.
И на самом деле не играет большой разницы, «хороший» это или «плохой» бот. Они оба посещают ваш сайт, и оба потребляют энергию для реализации своих задач. Разница лишь в том, что «хорошие» боты тратят энергию не на мошеннические махинации, а на фундаментальные задачи для функционирования всей SEO-системы.
Если вы читаете эту статью, то, вероятнее всего, имеете представление о работе поисковых систем: они посылают на ваш сайт краулеров, чтобы обнаружить новые материалы и обновить старые. Но поисковики могут посещать ваш ресурс раз за разом, не замечая при этом никаких существенных изменений. Если такое произошло, мы рекомендуем проверить логи, чтобы узнать, сколько раз и за какой временной промежуток краулеры и боты заходили на ваш сайт.
Более того, в Google Search Console есть отчет о статистике посещений, который показывает, сколько раз Гугл бывал на вашем сайте. И знаете, иной раз цифры смогут вас удивить.
Что делать с «плохими» ботами?
Сделать на самом деле можно многое. Самый простой и проверенный вариант - обнаружить их и заблокировать. Это поможет снизить нагрузку на сервер, и, как следствие, уменьшить энергопотребление.
Чтобы заблокировать сразу целую группу ботов-злоумышленников, попробуйте забанить IP-адрес. Если не помогло, то запретите доступ на сайт всей группе подозрительных адресов. Все это можно сделать вручную, но процесс будет достаточно трудоемким и долгим. В качестве альтернативы можно использовать решения, которые помогают управлять трафиком ботов. Например, утилиты от команды Cloudflare. У них есть много крутых приложений, которые задействуют искусственный интеллект и машинное обучение для обнаружения вредоносных ботов и их своевременной блокировки.
Кстати, советуем вам также установить несколько плагинов для безопасности. Если ваш сайт написан на движке WordPress, то попробуйте поставить Sucuri Security или Wordfence. Они были разработаны ведущими экспертами в сфере кибербезопасности.
Одни плагины безопасности автоматически блокируют определенных ботов, анализируя их паттерны поведения. Если оно подпадает под определенные категории, то IP-адрес моментально блокируется. Другие плагины только показывают вам, откуда исходит угроза, и предоставляют вам полное право в принятии решения, как с ней поступать.
А что делать с «хорошими»?
Несмотря на то, что «хорошие» боты не представляют почти никакой опасности ни для вашего бизнеса, ни для трафика в целом, они по-прежнему потребляют достаточно большое количество энергии на выполнение всех своих задач. Все это пагубно сказывается на состоянии окружающей среды, потому что мир сейчас испытывает серьезный дефицит энергии.
Внимательный читатель заметил, что в начале предыдущего абзаца мы употребили слово «почти» в отношении опасности для бизнеса и трафика.
Да, даже «хорошие» боты могут вам навредить. Они все-таки способны съесть определенное количество вашего трафика или вашей энергии, посему, когда речь заходит о них, примите во внимание следующие советы:
Не приносят пользы - не стесняйтесь блокировать
Сядьте и подумайте - действительно те боты, что краулят ваш сайт, приносят пользу? И если приносят, то какую?
Возьмем, к примеру, ботов поисковых систем. Все мы прекрасно знаем, что Google - это далеко не единственная поисковая система. Скорее всего, на ваш сайт заходили боты и с других поисковых систем (Яндекса, Bing и т.д.).
Допустим вы сели проверять логи и увидели, что боты из какой-то поисковой системы заходили на ваш сайт 500 раз, но все это практически не принесло вам органического трафика - пришло всего-то буквально пару людей. Есть ли вообще какой-то смысл позволять ботам этой поисковой системы лазать по вашему сайту, если выгода от такого околонулевая? Просто заблокируйте их и не тратьте на это время и ресурсы.
Ограничьте скорость краулинга у бота
Если есть возможность, то отредактируйте файл robots.txt. Сделайте так, чтобы боты не заходили на одни и те же ссылки по нескольку раз, и чтобы интервал их посещения составлял не меньше 20 секунд. Это особенно актуально для средних и крупных сайтов. Но небольшие ресурсы также будут выигрывать от искусственного ограничения краулинга у ботов.
Дело в том, что вы, даже при всем желании, вряд ли будете обновлять свой контент по сто раз на дню. Даже будучи владельцем крупного сайта с огромной посещаемостью. Нет никакого смысла тратить дополнительные ресурсы на краулинг если в этом нет острой необходимости.
Не бойтесь экспериментировать, меняя интенсивность краулинга в настройках. Вы также можете назначить определенную скорость задержки для краулеров из разных источников. Начните с небольшой и постепенно ее увеличивайте, контролируя последствия от этих действий.
Сразу предупредим - Google не поощряет изменение частотности краулинга, поэтому если и собрались делать что-то подобное, то делать это нужно предельно аккуратно.
Помогите краулерам «ползать» эффективнее
За вами остается право решать, какие части вашего сайта заблокировать для краулинга. Сделать это можно с помощью файла robots.txt. Это не только сэкономит энергию, но и поможет оптимизировать бюджет.
На вашем сайте, вероятнее всего, есть много мест, куда боты не должны заходить. Это могут быть, например, результаты внутреннего поиска.
Вы можете помочь ботам краулить по вашему сайту более продуктивно, удалив ненужные ссылки, которые ваша система CMS и плагины создают автоматически. Например, движок WordPress автоматически создает RSS-канал для комментариев, и в нем содержится ссылка. И эту ее, наверное, никто даже и не просматривает. Она просто занимает место и не приносит никакой существенной пользы. Просто очередная ссылка, которую боты поисковой системы будут пытаться краулить, тратя на это ресурсы. Вот от подобного и следует избавляться.
