Эффект убывающей отдачи Прогресс последних лет — это, в основном, инженерные оптимизации. Датасеты стали лучше, появилось дообучение вроде RLHF (когда модель учится по лайкам и дизлайкам людей), сами модели стали экономичнее. Мы научились делать модели меньше по размеру, но лучше по качеству. Llama 3 2024 года на 8 млрд параметров по бенчмаркам обходит GPT-3 2020 года на 175 млрд параметров. Качество как бы еще растет, но этот рост уже не выглядит таким зрелищным, как переход от GPT-2 к GPT-3. Потому что по сути — это апгрейд одной и той же идеи, а не разработка нового класса систем. И чем дальше, тем сильнее ощущается эффект убывающей отдачи от масштабирования. Как с мегапикселями в смартфонах: до определенного момента разница была видна, а потом каждый шаг стоит дороже, а эффект все меньше. Да, появились reasoning-модели, которые пробуют рассуждать перед ответом. Но по мере роста сложности задачи они тоже ломаются. Иногда просто коллапсируют. Глубина рассуждений у LLM масштабируется гораздо хуже. И при этом фундаментальные баги никуда не делись. Галлюцинации. LLM по-прежнему уверенно выдумывают факты. И это системно, даже у самых мощных моделей. Когда модель не уверена, она угадывает, опираясь на паттерны, а не на логику, что приводит к убедительным, но ложным ответам. Логические провалы. Модель может решить олимпиадную задачу по физике и тут же провалиться в простейшей бытовой логике. LLM по-прежнему ничего не понимают и не осознают из того, что генерируют. Они просто перебирают вероятности. Собственной модели мира у них нет. В итоге мы видим предел текущего поколения ИИ. Данные для обучения ограничены, энергия тоже — дальше масштабировать все труднее, а отдача все меньше И никакого скачка интеллекта при этом не произошло. Мы просто вошли в фазу зрелости и оптимизации, а не революционного роста. От хайпа к нормальной инженерии Если когда-нибудь появится следующее поколение ИИ, оно будет устроено совсем иначе. Модели должны будут учиться не по корпусам текстов, а наблюдая мир и строя свою причинно-следственную картину реальности. Но за последние 8 лет ничего похожего не появилось. Для этого нужны принципиально новые архитектуры, а не еще один «GPT-что-то». ИИ как технология действительно близка к своему потолку. Но как инструмент, он меняет рынок, нравится это кому-то или нет. Дальше рост ИИ пойдет в глубину: в нишевые модели, агентов и гибридные решения. Мы наконец уйдем от идеи «запихнуть ИИ во все подряд» и перейдем к нормальной инженерии — когда модель не болтает в чате, а работает через сервисы, API, базы и код. В таком виде ИИ перестает быть красивой игрушкой и становится рабочим инструментом. В Heads AI мы видим это на реальных клиентских проектах. Это большая и интересная тема. Думаю, в следующих публикациях разберу ее отдельно. __ Этот текст тоже, скорее всего, попадет в датасеты для обучения новых нейронок. Так что если однажды ИИ скажет вам, что он не умеет думать — вы знаете, кто его научил 😜