Ruadaptная комната

Сегодня мы выложили улучшенную версию RefalMachine/RuadaptQwen3-4B-Instruct 🎉 Модель стала лучше по всем фронтам: 1️⃣ На бенчмарке по каждой категории рост, в частности, на математике. 2️⃣ Стабильность модели повысилась (меньше циклов). 3️⃣ На арене также наблюдается рост (при снижении средней длины ответа!). Текущая версия (v2) на данный момент вероятно SoTA для русского языка среди всех тюнов и/или адаптаций 4B модели (на основании нашего бенчмарка). От исходной версии присутствуют небольшие ...

Релиз модели RuadaptQwen3-4B-Instruct 🚀 🔹Адаптированная модель быстрее и в целом не уступает исходной модели по качеству. 🔹Замерили в этот раз помимо метрик на датасетах и поведение на Vikhrmodels/arenahardlb и, как можно видеть, на данном датасете модель превосходит исходную в обоих вариантах: think и no_think. 🔹Также мы замерили не только наш текущий релиз против исходной модели, но и недавний релиз QVikhr-3-4B-Instruction. 🔹Метрики на датасетах будут в комментариях к посту. Модель: https...

Опрос показал, что 26% ждет адаптацию 14B модели, и вот мы ее подготовили - RuadaptQwen2.5-14B-Instruct 🎉 Провели модель через процедуру адаптации, отлаженную на 7B версиях. На подходе также версия с 1M контекстом (будет UPD к этому посту). Метрики: 1) RuArenaGeneral - 88.63 (на одном уровне с RuadaptQwen2.5-7B-Lite-v1) 2) shlepa - 0.477 3) MERA (0.522 с обычным системным промптом, 0.551 с кастомным) Итого, по метрикам как будто не должно быть лучше, чем RuadaptQwen2.5-7B-Lite версия, но я что-...

Всем привет! Рад сообщить о нашем новом релизе RuadaptQwen3-32B-Instruct 🎉. Это адаптированная версия Qwen3-32B, которая также является гибридным ризонером с режимом размышлений по-умолчанию. Отличия текущего релиза от прошлых: 1. Версионирование: теперь версионирование моделей будет идти внутри одного репозитория, но в Versions будут отмечены даты и соответствующие коммиты, которые могут быть использованы, если кому-то больше понравится “прошлая версия”. Таким образом мне проще выкладывать тек...

Релиз двух новых моделей и обновление нейминга серии RuadaptQwen3 🎉 Мы подготовили целых два релиза: - 🚀 Адаптированная Qwen3-8B → RuadaptQwen3-8B-Hybrid - 🚀 Адаптированная Qwen3-4B-Instruct-2507 → RuadaptQwen3-4B-Instruct Обе модели достойно себя показывают и обладают нашим Ruadapt токенайзером. В частности, мы недавно измерили разницу в скорости генерации (RuadaptQwen3-4B-Instruct против Qwen3-4B-Instruct-2507): - ⚡️ Скорость генерации ответов на ru_arena_hard вопросы — на 40% быстрее для R...

Обновление модели RuadaptQwen3-32B-Instruct! (v2) Текущая версия более стабильная, в частности с точки зрения циклов, некорректных символов и работы с длинными контекстами, а также подросли метрики относительно v1. Были добавлены метрики для сравнения с исходной версией Qwen3 и видно, что адаптация прошла успешно, где-то есть небольшие просадки, но в целом все на уровне. Очень жду от вас отзывов и проблемных промптов для дальнейшей прокачки моделей, ну а пока приступим к адаптации меньших версий...

Первая экспериментальная Ruadapt ризонинг модель: RuadaptQwen2.5-14B-R1-distill-preview-v1 Это адаптация модели deepseek-ai/DeepSeek-R1-Distill-Qwen-14B с SFT шагом после LEP на смеси датасетов kristaller486/Nebo-T1-Russian (все ру, 12-13 т.) и Egor-AI/CoT-XLang (2 т. случайных англ.) Во время SFT шага никаких системных промптов не использовалось, а рассуждения оборачиваются в <think> </think> теги. Модель иногда уходит в повторы, так что вооружаемся repetition_penalty в таких случаях. Так как э...

Яндекс релизнули свои новые модели YandexGPT 5 : 1) 8B версия (foundational, базовая, не инстракт!) выложена в опенсорс, но под странной лицензией, хотя вряд ли лицензия остановит кого-либо. По метрикам заявляется, что модель SoTA для ру языка и это очень круто. Поверх данной модели уверен появится некоторое количество хороших инстракт версий. Потенциально подобные инстракт версии могут стать так же SoTA в своем весовом сегменте, но однозначно заранее сказать нельзя. 2) 32B версия, уже инструкти...

Продолжаем релизить Ruadapt версии моделей Qwen2.5 и на этот раз мы адаптировали свежую ризонинг модель QwQ-32B. Модель показывает себя лучше, чем все предыдущие адаптации схожих моделей, но, к сожалению, несколько теряет в качестве решения мат. задач по сравнению с исходной версией (см. картинку, сравнение на русской версии aime-2024-1). Однако, так как модель все равно будет полезна за счет ускорения генерации русскоязычных ответов, то мы ее выкладываем. Уже имеются мысли, как улучшить качеств...

Запись эфира 5 февраля. Интересно пообщались про LLM, российский опенсорс, deepseek и др. https://youtu.be/MvRSroMG5Y0