Исследование доказало: ChatGPT игнорирует научные опровержения Интересно, что я уже начинаю выступать прям ИИ-скептиком, при этом ежедневно использую «ИИ» в ежедневных задачах 😅 Наверное, я больше про то, чтобы мы понимали текущие ограничения и слепо не доверяли всей информации, которые генерят текстовые генеративные модели. Суть претензии: группа исследователей (детальнее можно почитать тут) проанализировала 217 материалов из базы Retraction Watch — ресурса, который чекает статьи, отозванные или имеющие проблемы с достоверностью. Эти статьи попросили оценить GPT 4o-mini по разным методологиям. Чтобы минимизировать искажение, к каждой статье применили 30 промптов и на выходе получили исследование из 6 510 оценок. Результаты получились прям самый сок! 🙈 — В 100% случаев (6510 оценок) ChatGPT не упомянул статус отозванных статей при оценке их качества — 73% отозванных статей получили высокие оценки (3-4 звезды), включая категории «мирового уровня» — При проверке 61 конкретного утверждения из отозванных статей, ChatGPT в 67% случаев (410 из 610 ответов) назвал их правдивыми или частично правдивыми — Модель проявила осторожность только к темам COVID-19, не называя связанные утверждения истинными в 100% случаев ¯\_(ツ)_/¯ В последнем выводе прям сразу видно вмешательство человека в систему — таким образом можно не ожидать объективности от разработчиков той или иной LLM, в каждой из них будет продвигаться «политика партии» и особое мнение. Справедливости ради нужно отметить, что часто научные журналы и университеты не помечают ранее опубликованные статьи и диссертации как отозванные, поэтому и человек может легко ошибиться. Когда в очередной раз LLM-ка выдаст вам список несуществующих книг, авторов и выдуманных фактов, знайте, что на сервере в этот момент происходит примерно следующее: см.видео 😏 Прожарка от Димы Гарника