Каждый раз удивляемся прогерам, которые до сих пор не знают, что невозможно закрыть сайт от индексации в Google через файл robots.txt. Теперь все иначе. Уже лет пять как 🙂 Закрывать надо по-другому. Детали в статье https://iconsult.agency/blog/kak-proverit-fayl-robots-txt-v-google-i-bing/