Полезный ИИ начинается там, где кончается автопилот Самый опасный момент при работе с языковой моделью выглядит буднично: ты не споришь с ответом, ты просто перестаёшь его проверять. И вот это уже не спор из серии «тупеем ли мы от нейросетей», а нормальная прикладная задача для HCI (взаимодействие человека и компьютера). В продолжение этой и этой тем рисуется понятный тезис: польза от больших языковых моделей вполне измерима, но как ее можно замерить? Разберем чуток. Вот в исследовании MIT доступ к ChatGPT ускорял выполнение профессиональных письменных задач и повышал качество текста, то есть проблема не в самом факте использования. Работа (кстати первый журнал, в котором я увидел интегрированный инструмент AI summary) показала неприятную, но важную и полезную деталь: развёрнутые объяснения повышают доверие и к правильным, и к неправильным ответам, тогда как ссылки на источники и внутренние несостыковки децл возвращают пользователя к реальности. Новый препринт интересен тем, что ищет ошибку не в финале, а ранние следы по ходу работы с моделью. Авторы наблюдали за 77 участниками, подмешивали в ответы модели правдоподобную дезинформацию и анализировали журналы действий: клики, прокрутку, паузы, копирование, возвраты к окну модели. Получилось так, что высокий риск избыточной зависимости чаще был связан с быстрым копированием без правок, пропуском чтения исходного задания и постоянными возвратами к ответу модели вместо проверки материала. Это была бы сильная идея для интерфейсов всяких там ChatGPT и подобных: не ждать провала, а замечать момент, когда человек уже едет на автопилоте и давать какую-то недельную статистику, например. Это как минимум был бы мощный самоконтроль. Но продавать это как готовый «боевой детектор» я бы не стал, поскольку авторы сами пишут, что выборка мала для надёжной предсказательной модели, лабораторный дизайн ограничивает переносимость результата, а открытый репозиторий пока не выглядит как полностью воспроизводимый промышленный набор. Короче говоря, зачем эта работа сдалась на практике. Если ты замечаешь у себя или в продукте связку "быстрое копирование ответа, почти без редактуры, без чтения постановки задачи, с постоянным возвращением к окну модели" - это не про «эффективность», а сигнал, что модель уже думает вместо тебя. Полезный режим другой: сначала сам формулируешь задачу и критерий проверки, потом просишь ответ с источниками, затем переносишь в текст только куски, которые можешь проверить и переписать своими словами. А еще важный тезис заключается в том, что это не про борьбу с моделью, а способ сделать так, чтобы она усиливала мышление, вместо того, чтобы тихо его подменять. #LLM #образование #Демчинский