Очень крутое интервью с профессором математики Владимиром Крыловым Почему галлюцинации LLM неизбежны и почему у reasoning-моделей они местами даже выше — «парадокс рассуждений». Много интересных и полезных мыслей про настоящее и будущее ИИшечки. В интервью прям отлично покручены разные стороны: вайбкодинг, архитектура LLM, агенты и в целом про индустрию. Все чотенько, по делу и весьма вдохновляющее, рекомендую почитать полностью 😊 Но кому хочется "по-быстрому" - вот немножко главных поинтов: 🟢Галлюцинации - фундаментальное свойство обучаемых моделей: в attention/статистике есть ограничения, которые “масштабом” не выбить. 🟢Теоретический предел ошибок: для любого вычислимо перечислимого множества найдётся вход/последовательность, где LLM неизбежно ошибётся. 🟢ИИ может быть перенесено на альтернативные носители: не GPU/кремний, а, условно, аналоговые, оптические/фотонные, нейроморфные, в пределе даже биологические/химические реализации. 🟢“Парадокс рассуждений”: именно reasoning-модели могут галлюцинировать чаще; это связывается с границами из теории обучения (упоминается VC-размерность) и тем, что длинные цепочки рассуждений приходится ограничивать. 🟢RAG / Tool use / внешние знания и инструменты резко снижают галлюцинации по сравнению с “чистым” внутренним знанием модели. 🟢Индустрия двигается к “калиброванной неопределённости”: система должна уметь говорить “не знаю”, а не подлизываться и уверенно выдумывать факты и явно показывать допустимый риск ошибок. 🟢Большие контекстные окна не спасают код-базы целиком: квадратичная цена attention, “семантический разрыв” (видит куски, не видит зависимости), плюс эффект “потерянный в середине” (U-образное внимание к токенам). 🟢Законы масштабирования выдыхаются, а прогресс всё сильнее уходит в аугментацию промпта: планирование, проверки, расширение контекста, нативные вызовы инструментов - выигрывает связка “модель + агент + инструменты”. 🟢Вопрос “чья модель лучше” скоро станет вторичным - важнее “какой агент решает мою задачу”, с каким контекстом и инструментами. Модель станет commodity “как электричество из розетки”. 🟢OpenAI отстаёт из-за нехватки радикально новых идей, а у Google — рычаг в виде масштабирования дата-центров на TPU. 🟢Метрики тоже меняются: появляются попытки оценивать вклад LLM в экономику (вроде “прибавки к ВВП”), и разговор про AGI съезжает от философии к выгоде бизнесу.