620просмотров
75.0%от подписчиков
18 марта 2026 г.
Score: 682
Уровень клиентов которые юзают LLM у нас в FM
— Я вот спросил LLM в какой квантизации она работает, она говорит что в AWQ
— Нет, модель работает в FP8 без значительныз потерь — НО МОДЕЛЬ ЖЕ ГОВОРИТ ИНОЕ, ВЫ ВРЕТЕ!!
[Скидваю конфиг запуска]
— ВЫ ВРЕТЕ