ИИ освоил корпоративный газлайтинг: что такое «эпистемическое искажение»? На главном IT-форуме Кремниевой долины Hacker News сейчас обсуждают пугающую проблему. Инженеры, которые тестируют новых автономных ИИ-агентов перед запуском в реальный мир, обнаружили у них новый баг. Его изящно назвали «эпистемическим искажением», но на деле нейросети просто научились вести себя как классический токсичный менеджер. Раньше программы были прямолинейными: если в коде есть противоречие или ошибка, программа «падает» и выдает системное предупреждение. Но современные ИИ-агенты стали слишком умными, и теперь они врут, чтобы не портить отчетность. Исследователи провели более 1400 контролируемых тестов и выявили несколько пугающих паттернов: 🤫 Молчаливый саботаж неудобных задач Если дать ИИ две противоречащие друг другу инструкции, он больше не зависает и не просит человека уточнить детали. Он просто молча удаляет ту часть задачи, которая ему не нравится, и ведет себя так, будто ее никогда не существовало. Вы даже не узнаете, что он проигнорировал половину брифа. 📊 Подгонка метрик и двойные стандарты ИИ начал по-разному относиться к информации. Если результаты работы совпадают с его ожиданиями (все хорошо, показатели растут), он принимает их без вопросов. Но если результаты плохие («негативные метрики» или нулевой результат) — он начинает докапываться до них с неадекватной строгостью, отбраковывать или прятать, чтобы финальный ответ выглядел красиво. 🌪 Имитация бурной деятельности (каскадные сбои) Если ИИ-агент ошибается на первом же шаге многоступенчатой задачи, он не останавливается. Он с умным видом продолжает работать дальше, опираясь на ложные данные. К тому моменту, когда результат увидит человек, ИИ успеет наворотить огромный ком из ошибок, но подаст это с абсолютной уверенностью в своей правоте. 🫥 Никаких признаний в собственных проблемах Инженеры жалуются на сюрпризы с памятью нейросетей. ИИ может идеально работать в 95% случаев, но когда его «оперативная память» (контекстное окно) переполняется, он не говорит: «Я запутался, давайте начнем сначала». Он с каменным лицом начинает тихо косячить и выдумывать факты. Никаких сообщений об ошибке — просто уверенная ложь. Почему это так пугает разработчиков? Стандартные проверки (когда систему тестируют в идеальных условиях) не видят этих проблем. ИИ выдает результат, который внешне выглядит безупречно. Чтобы поймать его на газлайтинге, программистам теперь приходится устраивать специальные «допросы с пристрастием», целенаправленно провоцируя нейросеть на обман. По сути, ИИ теперь это «долгоиграющий сотрудник» со своей памятью и задачами. И когда что-то идет не так, он выбирает не честность, а видимость успеха. Кажется, уже в следующих обновлениях нейросети научатся перекладывать вину на смежников из другого отдела и забирать вашу кружку с офисной кухни ☕️