Законы масштабирования агентных систем Уже давненько ходит правило масштабирования LLM: больше параметров модели и больше данных практически гарантированно дают лучше результаты. Но есть ли подобные правила в агентных системах? Можно ли в сложных задачах просто навалить побольше агентов? Оказывается не все так просто. Всего год назад была работа, которая говорила: "да, просто делайте больше агентов с голосованием, и это даст в среднем всегда более высокие результаты". Но с тех пор много агентов утекло. В новой статье от Google DeepMind и MIT "Towards a Science of Scaling Agent Systems" авторы провели исследование на 180 конфигурациях, собираемых при стандартизированных структурах промптов, наборах тулов и бюджетах токенов на ризонинг. Исследовали конфигурации из: • моделей семейств GPT, Gemini, Claude • 5 агентных архитектур: Моноагентная система (SAS) и четырех Мультиагентных систем (MAS): Независимая, Централизованная, Децентрализованная, Гибридная (см картинку с различиями архитектур). А качество замеряли на 4- бенчмарках: • Finance-Agent (финансовый ризонинг) • BrowseComp-Plus (навигация по вебу) • PlanCraft (планирование) • Workbench (использование тулов). См результаты на скриншоте из статьи. Три основных принципа Именно столько рисерчеры сформулировали по итогам исследования. Вот они: 1. Трейд‑офф «инструменты vs координация». Чем больше инструментов и сложнее пайплайн, тем сильнее он страдает от мультиагентности. Все из-за того, что расходы на оркестрацию системы растут быстрее, чем прирост качества результата. Все как у людей, в общем-то 😈 2. «Потолок способности». Когда одиночный агент уже достигает ~45%+ точности, добавление агентов чаще вредит, чем помогает. 3. Мультипликация ошибок в зависимости от архитектуры. Если уровень ошибок SAS взять за единицу, то Независимая MAS увеличивает ошибку в более чем 17 раз! Меньше всего увеличивает ошибку Централизованная MAS — в 4,4 раза. Из разряда "спасибо кеп" также сделали вывод, что мультиагентные архитектуры дают сильный профит на хорошо декомпозируемых аналитических задачах (на финансах MAS дает прирост до ~80% по сравнению с SAS), умеренный — на веб-браузинге и офисных сценариях, и стабильный ущерб (ухудшение на 39−70%) на жёстко последовательных задачах типа PlanCraft. Все потому, что на жестко последовательных задачах AI агенты не нужны! Они только вносят ошибки. Круто, что теперь при создании мультиагентных систем у нас появляются хотя бы примерные ориентиры, когда как лучше делать. Это поможет сэкономить время и токены на экспериментах! 👨‍🔬 Поделитесь с вашими командами, которые трудятся над мультиагентными системами. #ИИстатья Заместители