👨‍💻 Разработчики веб-сайтов теперь могут запретить боту GPTBot от OpenAI посещать сайт OpenAI рассказала в своём блоге, что сторонние веб-разработчики могут явно запретить боту GPTBot посещать сайт. Таким образом, OpenAI не сможет использовать контент на сайте для обучения своих моделей. На сайте OpenAI появилась инструкция, в которой описано, как запретить боту GPTBot получать доступ к контенту на сайте. Для этого в файле robots.txt необходимо указать следующее: User-agent: GPTBot Disallow: / Также можно настроить более гибкий доступ. К примеру, бот сможет заходить только в избранные директории веб-сайта: User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/ Бот GPTBot используется OpenAI для сбора информации и формирования датасетов. Компания может использовать эти данные для обучения будущих моделей. При этом боту нельзя запретить доступ к сайту задним числом. Если GPTBot уже успел получить какие-то данные, то их нельзя удалить из базы OpenAI. IT NEWS