Эти вишенки вам не понравятся 🍒 🎊Протестировали модель 🎊 Сравнили с бейзлайном — новая модель лучше 💀 Выкатили в прод и уронили метрики Существует такой приём, который позволяет получить очень красивые цифры и при этом сделать некорректные выводы. Cherry-picking — логическая ошибка, при которой для доказательства своей точки зрения намеренно отбираются только удобные факты и примеры, а вся противоречащая информация игнорируется. Иногда это происходит неосознанно — когда дата-сайентист просто не знал о целевых данных и проводил замеры на более простых. А иногда вполне намеренно — нам на статистике рассказывали о таких кейсах, когда аналитики вводили в заблуждение продакт-менеджеров. Так что, продакты, внимательно смотрите на то, что вам показывают — возможно, это просто вишенки. Как это выглядит на практике в ML: 1️⃣ Удобный датасет Модель ASR оценивают на чистых данных — студийные записи или аудиокниги. WER/CER низкие, всё красиво. Но реальные данные — телефонные разговоры, шумы, плохие кодеки в тест не попадают. А потом оказывается, что на целевых данных качество уже не такое радужное и даже хуже, чем у другой модели, которая показывала более слабые результаты на простых данных. Формально модель «лучшая», но не там где нужно. 2️⃣ Одна метрика из многих Фокус на одной метрике без комплексного взгляда на задачу. Модель может сильно выигрывать в качестве и хорошо подходить под доменные данные, но при этом: ✅весить в десятки раз больше ✅работать в десятки / сотни раз медленнее В итоге она просто не подходит для прода. Звучит очевидно, в больших командах уже, возможно, не раз сталкивались с подобными проблемами, набили не одну шишку и сделали наконец нормальный тестовый стенд, но если у вас стартап или молодая команда — об этом особенно важно помнить и всегда проводить несколько разноплановых сравнений Cherry-picking опасен тем, что цифры настоящие, а ошибочны именно выводы. Сталикивались ли вы на своем опыте с черри-пиком? Делитесь своим мнением в комментариях ⤵️