Продолжаем релизить Ruadapt версии моделей Qwen2.5 и на этот раз мы адаптировали свежую ризонинг модель QwQ-32B. Модель показывает себя лучше, чем все предыдущие адаптации схожих моделей, но, к сожалению, несколько теряет в качестве решения мат. задач по сравнению с исходной версией (см. картинку, сравнение на русской версии aime-2024-1). Однако, так как модель все равно будет полезна за счет ускорения генерации русскоязычных ответов, то мы ее выкладываем. Уже имеются мысли, как улучшить качество адаптации ризонинг моделей: 1. У всех текущих 32B Ruadapt появились нежелательные числа, по сравнению с исходным токенайзером (у Qwen2.5 нет чисел больше 9 в токенайзере), в меньших моделях мы давно это уже поправили, но 32B версия еще на очереди, 2. На текущий момент после LEP идет этап SFT с длиной контекста только на 2тыс. токенов, чего в целом хватает для адаптации обычных инстракт моделей, но явно не достаточно для ризонинг версий. Попробовать модель можно в ближайшие дни в Space. Модель на HF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Beta Space: https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5 GGUF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Beta-GGUF