Покоряю Google Chrome, еще сделал полезное расширение для браузера — Robots Viewer. - Проверяет доступность файла robots.txt для текущего домена и отображает его HTTP-статус (например, 200 OK, 404 Not Found). Отображение содержимого файла прямо в расширении. Подсветка директивы, которая запрещает сканирование. - Отображение Robots Meta, rel=canonical, x-robots-tag и их статус. - Если страница запрещена к сканированию и индексации, то иконка расширения отображается в красном цвете. Эту функцию подсмотрел у автора канала @wlad2chanel. Он там заказывал доработку известного плагина под эту функцию. И это действительно удобно. Расширение можно скачать в официальном магазине Chrome.