Тааак, NVIDIA снова удивляет 🤖 Помнишь, как мы все мучались с 4-битной квантизацией? Вроде сжимаешь модель, а она начинает тупить на математике и коде. Классический QAT после RLHF превращал умные модели в овощи. Так вот, в NVIDIA придумали метод QAD, который наконец решает эту боль. Фишка в том, что они используют дистилляцию через KL-дивергенцию вместо привычного подхода. И знаешь что самое странное? Метод работает даже на рандомных данных. Звучит как магия, но математика не врёт. Теперь можно сжать LLM в 4 бита БЕЗ потери качества на сложных задачах. Автор даже делится опытом, как пытался запихнуть 49B модель в своё железо — рили живая история 🔥 Лично меня это радует. Квантизация должна экономить память, а не превращать модели в калькуляторы из 90-х. Кто уже пробовал QAD? Или всё ещё мучаетесь со старыми методами? 🔗 Источник