Что-то блокировало робота Google - начали выпадать страницы и падать трафик. В конце прошлого месяца на одном из сайтов начинает падать трафик в Google. Начинаю “копать”. Нахожу, что в Search Console упал индекс. Повод найден, продолжаю искать причину. Иду в "Настройки" -> "Статистика сканирования" и вижу: 🔻резкий рост ответа сервера (цифра 1 на скриншотах); 🔻в блоке “Статус хоста” проблемы с доступом к robots.txt и подключению к серверу (до 72-99%). Получается, что у Google большие проблемы с доступом к сайту. Что-то блокирует ботов. Связываюсь с клиентом, разработчиком. Значимых причин, которые могли бы повлиять на доступ роботов к сайту, не находим. Предлагаю написать хостеру. Тот отписывается, что на его стороне все ок. Через пару-тройку дней после обращения к хостеру (совпадение?) нормализуется ответ сервера и статистика сканирования. Чтобы ускорить возвращение выпавших страниц в индекс, проверяю через SpeedyIndex (осторожно, реф. 😁) все канонические страницы на индекс и туда же отправляю непроиндексированные (около 60% от всего объема сайта) на ускорение индексации. Обычно этого бота я использую для индексации внешних страниц с обратными ссылками. Здесь же решил его попробовать в новом амплуа. Результат приятно порадовал: 🔹резкий рост запросов на сканирование (цифра 2); 🔹возврат страниц в индекс (цифра 3) + еще немного сверху (Google быстро переобошел страницы и переиндексировал их); 🔹возврат посещаемости (цифра 4). Она постепенно возвращалась сама, но резкий возврат страниц в индекс подтолкнул и ее. С последствиями справились, но осталась загадкой первопричина проблем со сканированием. Что это было - есть идеи 💡?