5 способов подготовиться к запланированному отключению сайта

Так вот, сразу нужно уточнить, что нет какого-либо способа отключить сайт (пусть даже временно), не потеряв при этом что-то. Если есть возможность избежать закрытия, лучше ей воспользоваться. Однако есть вещи, которые вы можете сделать, чтобы свести негативные последствия отключения к минимуму:

• Установите HTTP ошибку 503;
• Не отключайте сайт дольше, чем на сутки;
• Измените данные в robots.txt, чтобы сайт возвращал код 200;
• Будьте готовы ко всем возможным последствиям, если сайт придется отключить дольше, чем на сутки;
• Будьте готовы к тому, что активность краулеров Google может существенно снизиться.

Давайте пройдемся по каждому пункту подробнее.

Ошибка HTTP 503

Если вы отключаете сайт, убедитесь в том, что Googlebot будет видеть при его открытии ошибку 503. Так он сможет понять, что этот сайт функционирует, просто временно находится на ТО, и к его анализу можно будет приступить, как только он закончится.

Мюллер объясняет, как можно проверить наличие или отсутствие ошибки 503 легко с помощью Chrome:

«Вы можете проверить статус страницы в Chrome, если щелкните правой кнопкой мыши по странице. Вам нужно будет выбрать Inspect, выберите сверху, затем Network, после чего обновить страницу. Если верхняя надпись красного цвета и браузер выдает ошибку 503, значит, все в норме»

Долгое отключение сайта

Если краулеры Google столкнутся с ошибкой 503, они, конечно, вернутся обратно. Но они не будут делать это систематически. Если такой код будет сохраняться в течение многих дней, то боты просто перестанут заходить на сайт. Согласно словам все того же Мюллера, статус 503 лучше сохранять не дольше, чем на сутки. Приведем его цитату:

«Сохраняйте статус 503 в идеале максимум на день. Конечно, я прекрасно понимаю, что за день можно не успеть устранить все неполадки, связанные с сайтом, но перманентный код ошибки 503 может привести к тому, что ваша страница выпадет из поиска – и сделает это надолго»

Robots.txt и ошибка 200

Ваш сайт должен отображать ошибку 503, в то время как robots.txt 200 или 404. Если опираться на слова Мюллера, то статус 503 в файле robots.txt будет выступать как своеобразный маркер для краулинговых ботов о том, что сайт нерабочий, и сканировать его не нужно. Джон также порекомендовал использовать Chrome DevTools для изучения robots.txt. Вот на что нужно обратить внимание:

«Файл robots.txt должен выдавать либо ошибку 200 с исправленным файлом, либо 404. Других вариантов здесь быть не должно»

Подготовьтесь к последствиям

Как мы уже упоминали ранее, не существует способа отключить сайт и избежать негативных последствий. Если вы планируете закрыть сайт дольше, чем на сутки, то вам следует прислушаться к совету Джона Мюллера. Он говорит, что такие страницы, вероятнее всего, выпадут из поисковой выдачи, независимо от наличия или отсутствия кода 503. Приводим цитату:

«Хм... А что будет если закрыть сайт дольше, чем на один день? Ну, вне зависимости от ошибки (будь то 503, 404, 200, тега noindex и т.д.) вас будут ожидать негативные последствия. Страницы просто рискуют выбыть из поисковой конкуренции»

Когда вы снова запустите сайт, проверьте, проиндексированы ли важные страницы. Если нет, то займитесь этим вопросом.

Ожидайте уменьшения частотности краулинга

Нежелательным, но неизбежным эффектом отключения сайта является уменьшение количества просмотров. Вот что об этом говорит Мюллер:

«Независимо от того, являетесь вы владельцем крупного или маленького сайта, его отключение даже на один день повлечет снижение активности краулеров в будущем»

Снижение скорости краулинга может сказаться на рейтинге по-разному. Прежде всего следует обратить внимание на то, что новые страницы на сайте отныне будут дольше индексироваться, а обновления на старых страницах дольше обрабатываться серверами. Как только Googlebot увидит, что сайт снова работает и вы активно обновляете его, скорость сканирования, скорее всего, вернется в норму.

Источник: https://www.searchenginejournal.com/google-ways-to-prepare-for-site-closure/464936/