На просторах SEO-сообщества была обнаружена интересная закономерность. Анализ таблицы показал, что крупные веб-ресурсы всё чаще добавляют в файле robots.txt специальные директивы для краулеров искусственного интеллекта, таких как gptbot, claudebot и другие, вместо использования универсальных правил для всех поисковых роботов. Информация была получена из обсуждения на платформе Bluesky.