Овер-LLM-инг На прошлой неделе я был на встрече, где подрядчик показывал первую версию решения, которое должно собирать разрозненные данные управленческого учёта: по проектам, подразделениям, прибыли и себестоимости в единую систему и представлять их в понятном виде для любого сотрудника. На практике это решение оказалось тем, что сейчас особенно модно – ИИ-агентом, который отвечает на вопросы. Для клиента всё выглядит круто и вызывает вау-эффект: можно просто написать “покажи прибыль по проектам за октябрь”, а система всё поймёт и ответит 🧑‍💻 Начали демо. Три одинаковых запроса данных выдали три совершенно разных результата, ни один не оказался верным. Оказалось, что агент для свода чисел использует LLM 🤬 Вся база знаний агента была гугл-таблицей, в которой те же данные можно элементарно просуммировать. Подрядчик понимал, что что-то не так, и объяснял: «Нужно просто дообучить нейросеть, чтобы она точнее понимала запросы. Скажите, какие данные вам часто нужны и мы подготовим точные ответы на них» Но, может быть, стоило начать с другого? Сначала выяснить, что действительно нужно компании, собрать данные в единую систему, проверить корректность подсчётов, а потом уже разрабатывать агента для общения, который "может отвечать с юмором и даже маты можем добавить 🖕" Есть такой термин – оверинжиниринг, когда простую задачу решают сложным способом. Теперь у нас появилась новая форма – овер-LLM-инг. Когда, например, компании суют нейросети туда, где достаточно обычных формул в Excel 👎 LLM действительно хороши там, где нужно понять смысл данных и/или сгенерировать новые: интерпретировать, делать выводы, находить закономерности, формировать резюме или прогноз. Но превращать LLM в калькулятор – это уже перебор. LLM может помогать думать, а не складывать столбцы. ИИ – это не костыль и не магия. Если у компании нет выстроенных процессов и базовой дисциплины данных, внедрение ИИ превращается в красивую и дорогую игрушку. Но рынок пестрит обещаниями “ИИ под ключ”, где результатом считают сам факт подключения, а не эффект от него. Как будто само наличие ИИ уже делает бизнес умнее. На практике же, большинство компаний хотят вообще не ИИ в его истинном значении, а автоматизацию общения. Чтобы ИИ общался с клиентами, а продажи шли сами. Но мало кто задумывается, что это не уменьшает нагрузку, а наоборот увеличивает. Когда у вас 100 лидов в день, это можно обработать вручную. Когда 1000 – система должна быть готова: процессы, CRM, аналитика, отчётность. ИИ не просто создаёт новые диалоги, он масштабирует хаос, если внутри нет структуры. В прошлом году в MAIA мы проводили десятки внедрений ИИ и увидели, насколько сильно компании хотят "магии" и как редко внутри всё готово, чтобы эта "магия" работала. Один из кейсов: мы запускали ИИ-агента, который рассказывал клиентам о компании, её услугах и помогал оформить запись прямо в диалоге. Через несколько дней пришла жалоба от заказчика, дословно: Агент просто фантазирует про какие-то процедуры, которых у нас нет Проверили, всё работало корректно. Просто агент честно тянул данные из каталога услуг, со страниц, на которые "а мы туда не заходим даже". Человек может не замечать или закрывать глаза, автоматизация – нет. Она поднимает со дна всё: ошибки, старые данные, мусор. И превращает скрытый хаос в наглядный результат. Перед тем как начать внедрять ИИ, стоит задать себе вопрос не «какую модель выбрать?», а «что в нашей компании вообще готово к автоматизации?» ИИ не заменяет людей, он масштабирует их привычки, хорошие и плохие. Если внутри порядок, ИИ ускорит рост. Если хаос, он просто вывернет его наружу, как и любая другая автоматизация. Дообучать нужно не модели, а компании 🫰