К
КПД
@quant_prune_distill3.1K подп.
1.9Kпросмотров
62.7%от подписчиков
9 марта 2026 г.
Score: 2.1K
Краткий обзор, посвященный исследованиям влияния температуры 🤒 на качество генераций БЯМ и разным методикам подбора адаптивной температуры. В частности, рассмотрены разные варианты - обучаемые и entropy-based, с глобальной температурой на последовательность и потокенной. Одна из эвристик предлагает поднимать температуру, когда модель не уверена в предсказании, и понижать в противном случае. Существуют также разные опции RL-я и meta-learning для предсказания оптимальной температуры на инференсе. Выученные RL-политики, правда, оказываются похожими на вышеупомянутую эвристику. Также приводится список работ, где адаптивная температура подбирается для калибровки вероятностного распределения
1.9K
просмотров
701
символов
Да
эмодзи
Нет
медиа

Другие посты @quant_prune_distill

Все посты канала →
Краткий обзор, посвященный исследованиям влияния температуры — @quant_prune_distill | PostSniper