Всем привет! На этой неделе в четверг 9 октября в 14:00 мы возвращаемся с двумя докладами! 1️⃣ На первом докладе продолжим погружаться в LLM и Сергей Карпухин разберёт подход из Parallel Scaling Law for Language Models к поднятию качества модели за счет паралеллизации обучения и инференса, подходящий как для претрейна, так и для файтьюна - по сравнению с другими подходами этот особенно хорошо подходит для сценариев с небольшим количеством ресурсов 2️⃣ Нина Коновалова расскажет про работу SCALE-WISE VAR IS SECRETLY DISCRETE DIFFUSION. Возможно, вы помните нашумевшую работу VAR от стажера-саботёра, которая предложила картиночную авторегрессию, но с предсказанием не следующего токена, а следующего скейла. Так вот, оказывается, ребята сделали практически диффузию, но сами этого не поняли. В новой статье SCALE-WISE VAR IS SECRETLY DISCRETE DIFFUSION авторы показывают связь VAR с дискретной диффузией, а также применяют различные фишки диффузионного процесса для улучшения качества генерации. На докладе подробнее разберемся с работой VAR и его связью с диффузией. Ссылку на зум пришлем перед встречей! Приходите, будет интересно! 😊