Всем привет! Собрал 5 ошибок, которые вижу снова и снова, когда команды запускают ИИ систему, прогоняют пару тестов и считают задачу закрытой. А потом на проде все ломается в самый неудобный момент. Первая ошибка - это бенчмарки вместо оценки на своих задачах. Результат на MMLU бенчмарке ничего не скажет о том, как система работает именно у вас. 85% скор на бенчмарке звучит красиво, но это пустая цифра, если ваш AI делает саммари юридических договоров. Вторая - это когда измеряют точность, но игнорируют устойчивость. 95% точности ИИ системы выглядит отлично ровно до момента, пока реальные пользователи не начинают формулировать запросы чуть иначе. Небольшие вариации промпта могут полностью сломать систему. Третья - это отсутствие baseline. Если до деплоя не зафиксировать, как выглядит хороший результат, вы просто не поймёте потом, стала версия 2 лучше или хуже версии 1. Четвертая ошибка - это тестирование только happy path. Ожидаемые сценарии это минимум, который должны быть по умолчанию. AI-системы реально ломаются на крайних случаях и неожиданном поведении пользователей. Пятая - это когда evaluation живет только у разработчиков. Разработчики знают, как система устроена, а QA знает, как она ломается. Без QA в процессе оценки вы упускаете самый важный угол зрения. Всё это решаемо, но только если вы понимаете, что проблема вообще есть. Полезная информация: Курс по evaluation AI | Мой фреймворк для оценки AI | С чего начать изучение AI | Инструменты для оценки AI | Инструменты для оценки AI (ч.2)