798просмотров
87.1%от подписчиков
22 декабря 2025 г.
🎬 ВидеоScore: 878
🕹 Тренировка по понедельникам Сейчас будет magic. AI-симулятор собеседований Mentorpiece Sim позволяет потренироваться не только в классическом тестировании, но и в тестировании AI-приложений.
Поэтому в упражнении AI1.30 учимся тестировать сразу 5 AI-моделей: 1. Пишем промпт, который просит AI-модель ответить на определенный вопрос списком. Выполняем промпт в 5 AI-моделях (кнопка "Получить ответ"):
- Qwen3
- Meta Llama 3.3
- Google Gemma 3
- Claude Sonnet 4.5
- ChatGPT 5.1 2. Анализируем ответ каждой модели и рассчитываем несложную метрику Precision - сколько правильных пунктов в каждом списке (в видео ответ лучшей AI-модели - это ChatGPT 5.1, у которой 4 правильных ответа из 5 или 0.8) 3. 👀 Как убедиться, что мы посчитали правильно? Для этого вводим свой ответ внизу страницы тренажера и привлекаем самую мощную AI-модель - она работает по технологии "LLM в роли суди". Эта мощная AI-модель проверяет, что ответили 5 AI-моделей и что ответили мы. Прежде чем выполнять это упражнение, лучше сначала понять, что такое Precision и какие еще есть метрики для тестирования AI-приложений. Для этого: Запланируй не позже конца новогодних праздников 🎄 прочитать первую часть бесплатного курса Как тестировать AI-приложения (при проблемах с доступом). В этот курс встроено более 20 упражнений Mentorpiece Sim. Обещаем, что будет интересно! #sim