😨 На просторах интернета нашел очень интересный репорт по тому что использовали и как решали соревнования по машинному обучению в 2025 году 😎 Обычно на них используют все самое передовое и экспериментальное, поэтому можно понять куда движется индустрия анализа данных Основные моменты: 1️⃣ Соревнования по табличным данным начинают демонстрировать возможные признаки изменений: после многих лет доминирования градиентного бустинга над деревьями решений, в некоторых победивших решениях начали использоваться AutoML-пакеты (в частности, AutoGluon) и фундаментальные модели для табличных данных (TabPFN). Тем не менее, GBDT (особенно XGBoost и LightGBM, а в чуть меньшей степени CatBoost) по-прежнему остаются основным инструментом для большинства задач с табличными данными, иногда в ансамбле с нейронной сетью. Один из победителей использовал TabM. 2️⃣Вычислительные бюджеты растут! В крайнем случае одна команда (сотрудники NVIDIA) использовала 512 GPU H100 в течение 48 часов для обучения своего победного решения для AI Mathematical Olympiad Progress Prize 2. Эквивалентная стоимость такого запуска в облаке по требованию составила бы около $60k. Как минимум ещё 3 команды-победителя потратили более $500 на вычисления, что больше, чем обычно наблюдалось в предыдущие годы. При этом по-прежнему много людей выигрывают, обучая модели только в Kaggle Notebooks или на других бесплатных ресурсах (включая третье место в AIMO Progress Prize 2, где обучение вообще не проводилось!). 3️⃣ В соревнованиях по языковым и рассуждающим задачам основными моделями стали Qwen2.5 и Qwen3. Почти каждое победное решение в задачах, связанных с текстом, использовало Qwen в той или иной форме. В отличие от предыдущих лет, модели в стиле BERT почти не использовались в победных решениях. 4️⃣ Эффективность является ключевым компонентом во многих решениях, и в текстовых задачах это часто означает использование vLLM (для инференса) или Unsloth (для дообучения). Некоторые команды использовали LoRA, некоторые делали полное дообучение (если у них были GPU). 5️⃣ Впервые модели на основе Transformer выиграли больше соревнований по компьютерному зрению, чем модели на основе CNN, хотя CNN всё ещё побеждают в ряде задач. 6️⃣ В аудио-соревнованиях с человеческой речью большинство победителей дообучали различные версии модели Whisper от OpenAI. 7️⃣ PyTorch использовался в 98% решений, где применялось глубокое обучение. Из них около 20% также использовали PyTorch Lightning. 8️⃣ Несколько неожиданно, распространение Polars остаётся довольно низким, и ни один победитель не использовал JAX. 9️⃣ Ни один из крупных призовых конкурсов — ARC, AIMO, Konwinski — пока не выплатил главный приз, хотя в AIMO 3 (который проходит сейчас) результаты уже приближаются к уровню, необходимому для получения главного приза. ❗️Фулл здесь https://mlcontests.com/state-of-machine-learning-competitions-2025/?ref=mlcr25 🤩Чат | Наши сервисы 🤩