Наши AI-сотрудники отупели. Мы три недели этого не замечали Сегодня зашёл в чат бота с клиентами - первый раз за три недели. Ужаснулся. Марина (наш AI-менеджер) отвечала как самый тупой скриптовый бот из 2015-го. Хотя под капотом - мощная модель, которая должна быть умнее живых сотрудников. Три недели клиенты получали это. И молчали. Видимо, думали: ну бот, ему положено быть тупым. Что произошло: Месяц назад обновили структуру работы AI - чтобы быстрее отвечал и меньше ошибался. Аналитики протестировали, всё прошло. Запустили. Проблема: тесты были по идеальному сценарию. В реальности клиенты пишут не так. Бот ломался на первом же нестандартном вопросе - и превращался в говорящий FAQ. Что сделали: Сегодня бросили всех разработчиков на исправление. Уже на 90% починили. Но главное - меняем подход: - Тесты теперь пишут не аналитики, а люди, которые видят реальные диалоги с клиентами. - Каждую неделю проверяем случайные 20 диалогов вручную. Без исключений. - Регулярно собираем обратную связь. Вывод: Нет завершённых задач. Есть задачи, которые ты временно перестал проверять - и они начинают гнить. Иногда полезно получить такой удар. Он заставляет пересмотреть всё, что ты "пустил на самотёк". Сегодня у нас такой день. А если хотите помочь нам выявлять тупость (или наоборот - ум) наших AI-сотрудников, можете сами пообщаться с ними: Марина и Константин работают в @Voronoi_info_bot - консультируют по белой логистике и считают ставки доставки из Китая. Проверьте, починили мы их или нет 😅