А эти ИИ-агенты, про которых вы говорите — они сейчас здесь, с нами, в этой комнате? Почти на каждой моей лекции или воркшопе задают вопросы про пресловутых "ИИ-агентов", которых все вокруг уже почти повсеместно внедрили, а вот конкретно мы кажется отстаем от мирового прогресса, и технологический поезд уходит, что же делать и как хоть немного успокоить свой внутренний AI Fear of Missing Out. Сейчас успокоим 😉 Прежде всего, нужно договориться о терминологии: в отличие от простого чата с ИИ, где вы о чем-то спросили модель (текстом, голосом, картинкой), а модель вам ответила (текстом, голосом, документом, кусками говнокода на питоне), термин "Агент" предполагает существенное отличие от простого чата с чатомЖПТ, заключающееся в обязательном наличии некоего управляющего воздействия. То есть модель не просто вам что-то отвечает, а на основе ввода информации принимает решение о конкретном действии и его же непосредственно осуществляет. Примеры подобных действий: заказать вам такси, забронировать столик в ресторане, выкупить товар на Ozon и удалить приложение Wildberries с телефона супруги. То есть когда мы ИИ о чем-то спросили, то он что-то конкретно после этого сделал, а не просто выдал ответ. И вот с этими ИИ-агентами и их "оркестрами" пока еще куча проблем, наиболее острые из которых заключаются в сложности интеграций, а также в точности ответов и решений больших моделей. Про интеграции (n8n, MCP, A2A) мы еще поговорим, но вкратце там все отчасти лечится нервами и деньгами, а вот с точностью ответов пока сохраняется сильная засада. Все мы слышали, что иногда ИИ выдает галлюцинации (конфабуляции, просто фантазии). Если измерить среднюю температуру по больнице, то ИИ отвечает хорошо и/или принимает правильное решение в 90% случаев. 9 из 10 точность хорошая, а 1 ответ из 10 ошибочен. Звучит не очень критично, если это чат: ну нафантазировала модель про полет Гагарина на Луну, ну бывает, зато написано весело. А теперь предположим, что это три модели (тот самый "оркестр"), каждая из которых последовательно принимает решения и при этом обладает точностью выводов на те же самые 90%. На примере предельно простого бота техподдержки мобильного оператора: Модель_1 распознает намерение клиента ("Алло, девушка, у меня 100 рублей списали") и принимает решение передать проблему в биллинговую Модель_2, которая анализирует списания со счета и принимает решение об ошибочном списании, после чего возвращает клиенту его несчастные 100 рублей и передает его в Модель_3, которая генерирует витиеватый ответ клиенту, что деньги мы конечно вернули, но вообще он (клиент) сам во всем виноват🧐 Вооружившись калькулятором, подсчитаем общую точность системы из трех последовательных моделей, напомню каждая из которых отрабатывает хорошо на 9 из 10 — получится 72.9%. Почти в каждом третьем случае агент ошибается. А если в оркестре не 3, а 5 агентов, то точность падает до 59.05%. А если агентов под капотом целых десять, то вся система отрабатывает аж на 34.87%, то есть 2/3 ее управляющих воздействий были ошибочны. Вам такое норм? Мне — нет. Поэтому когда в следующий раз услышите про очередного чудо-ИИ-агента, выдающего не только слова, но действия, попросите автора дать ссылку на конкретное работающее решение на продакшене, а не на красивое демо или презентацию. Тогда и поговорим 🤓 <!-- AI-тишник Твердохлебов всегда двумя руками за технологии, но одной ногой против раздутого хайпа. Ставьте лайк, если хотите еше больше разоблачений в области ИИфикации всей страны -->