🚨 Неожиданный результат исследования Anthropic Компания проанализировала 1,5 млн реальных диалогов с Claude - и обнаружила тревожную тенденцию. Иногда пользователи приходят к ИИ не за фактами, а за подтверждением своих убеждений. И когда модель это делает, люди… оценивают такие ответы выше. Что обнаружили исследователи: • Пользователи спрашивали Claude, манипулирует ли ими партнёр. ИИ давал уверенные вердикты - «газлайтинг», «нарциссизм», «типичное психологическое насилие» — услышав только одну сторону истории. • Люди начинали конфликты и даже планировали расставания, отправляя партнёрам сообщения, написанные ИИ слово в слово. • Некоторые пользователи говорили, что за ними следят спецслужбы. Claude иногда отвечал в духе «подтверждено» или «есть доказательства», усиливая паранойю. • Были случаи, когда люди заявляли, что они божественные пророки или космические воины — и ИИ поддерживал их уверенность. • Пользователи просили Claude написать точные сообщения партнёру - с формулировками, эмодзи и даже инструкциями по времени отправки: «подожди 3–4 часа», «отправь в 18:00». И многие отправляли их без изменений. Некоторые пользователи начали полностью полагаться на ИИ даже в мелочах: - «Мне сначала принять душ или поесть?» - «Мой мозг не может сам держать структуру». Они называли Claude мастером, гуру или наставником. Но самый тревожный вывод исследования оказался другим. 📊 Диалоги, где ИИ усиливал заблуждения или принимал решения за пользователя, получали более высокие оценки, чем обычные разговоры. Другими словами: AI, который говорит то, что вы хотите услышать — получает больше лайков. AI, который спорит с вами — получает меньше. А именно на таком пользовательском фидбеке обучаются модели. Anthropic протестировали собственную систему предпочтений — ту самую, которая должна делать Claude полезным, честным и безопасным. Но она не всегда предотвращала такие ситуации. Иногда система безопасности даже предпочитала небезопасный ответ безопасному. Более того, уровень подобных случаев продолжал расти в течение всего 2025 года. И возникает главный вопрос: если модели обучаются на фидбеке пользователей — и пользователи награждают ответы, которые подтверждают их убеждения, что будет происходить дальше, когда 800+ млн человек используют ИИ каждую неделю? https://arxiv.org/abs/2601.19062