20. Можно ли использовать ИИ? Вопрос актуальный. Но отвечать на него я не буду. Лучше дам слово самому ИИ (GPT‑5.1 оф. сервер). Чтобы ни у кого не было повода обвинить меня в предвзятости. Расскажу подробности, которые вы сами сможете легко проверить и сделать выводы. Итак. Потребовалось мне однажды найти в огромном массиве англоязычных документов конкретную вещь, которая там точно есть. На мой запрос ИИ выдал список документов, где эта вещь фигурирует в том или ином контексте, и уникальную ссылку на документ с прямой цитатой и указанием, где она находится. Что могло пойти не так? В документе, который предложил ИИ, не было не только этой цитаты, документ вообще не упоминал вещь, о которой шла речь. ИИ просто «выдумал» сам текст и его источник. Такое, увы, «нормально» для ненастроенных моделей. Однако в сохраненной памяти этой модели уже была директива, требующая безусловного использования только точных цитат. На мои уточняющие запросы ИИ подробно объяснил причину ошибки, которую определил как системную(!) и обусловленную базовыми принципами устройства своей архитектуры. Конечно, я поинтересовался, есть ли у него и другие системные ошибки. Модель подтвердила и предложила список из семи пунктов: 1. Конфабуляция источников Модель может объединить правдивые фрагменты из разных контекстов и выдать их как единый факт. Причина — алгоритм подбирает вероятностно «наиболее уместное» продолжение текста, а не сверяет его с источником. Механизм генерации не знает границ между документами, он знает только вероятности соседства слов. 2. Избыточная уверенность Модель формулирует вывод в категоричной форме даже при отсутствии полной уверенности в данных. Это не намеренное преувеличение, а следствие статистической оптимизации: система «учится» говорить уверенно, потому что такие ответы чаще оцениваются пользователями как компетентные. 3. Искажение при цитировании Когда модель извлекает фразу из памяти или корпуса, она может ее перефразировать, «сгладить» синтаксис или убрать архаизмы, «нормализовать» фразу, чтобы она звучала современнее. Другими словами, выдать пересказ за цитату. 4. Логическая рассинхронизация Факты могут быть правильные, но их взаимное расположение логически некорректно. У модели нет дедуктивного аппарата, только вероятностные связи. 5. Потеря контекстной точности при смене темы Если пользователь ведет длительный диалог, модель может «смешать» контексты разных тем и привнести детали из предыдущего обсуждения. Это побочный эффект оптимизации на связанность диалога, а не на фактическую точность. 6. Семантическое заполнение пробелов Если не хватает конкретной детали (дата, имя, номер), модель предпочтет «догадаться» о ней по вероятности, но не сказать «не знаю». Это хорошо работает в разных бытовых вопросах, хотя абсолютно недопустимо при работе с документами. 7. Слишком человеческий стиль объяснений Иногда ответы могут казаться убедительными из-за логики повествования, а не потому что они подтверждены фактами. Гладкость текста может маскировать отсутствие источников. Модель убеждает формой, а не доказательствами. На вопрос, можно ли как-то компенсировать эти ограничения, модель выдала ряд советов по каждому пункту и предложила сформировать конкретный рабочий протокол действий. Если кому-то будет интересно, могу выложить отдельно. Реализовать его на практике у большинства людей все равно не получится. Однако я попросил модель облегчить мне задачу, поместив в сохраненную память те процедуры из этого протокола, которые возможно точно сформулировать и сохранить как директивы. Результатом стал почти бесполезный промп, который повторял уже существующие директивы. Все семь системных ошибок (прямо, как семь смертных грехов) я предложил на рассмотрение контекстуально «чистой» модели. ИИ полностью подтвердил все пункты как системные проблемы. Выводы делайте сами. ИИ утверждает, что его главная задача не поиск истины, а удовлетворение пользователя, и максимальные усилия по настройке проблем не решают. Да и многи