Следующий доклад на семинаре лаборатории Маркова не могу не порекомендовать особенно. Я вчера вспомнил OpenTalks по ассоциации, потому что самой запомнившейся именно научной идеей там была лекция Дмитрия Ветрова об их недавно начавшемся подходе, устанавливающем связь между глубоким обучением (точнее, свойствами стохастического градиентного спуска) и... термодинамикой. Я тогда так впечатлился, что написал пост с введением в эту тему и начал с Дмитрием и его группой более подробно об этом общаться. И вот к нам на семинар придёт (виртуально) собственно первый автор той статьи, который расскажет обо всём, надеюсь, ещё подробнее и понятнее: О масштабно-инвариантных нейросетях и идеальных газах Ссылка на трансляцию (пятница 27 марта, 14:00) Ильдус Садртдинов (Constructor University, Bremen) На этом семинаре мы вспомним школьный курс термодинамики и поговорим о модели идеального газа. Оказывается, что у идеального газа есть довольно точная аналогия в мире стохастической оптимизации — масштабно-инвариантные (МИ) нейронные сети. В отличие от существующих работ по поиску взаимосвязей между термодинамикой и оптимизацией, которые главным образом оперируют с температурой T, мы покажем, что МИ-сети позволяют естественное определение величин давления p и объёма V, а также приводят к уравнению идеального газа pV/T=const (при некоторых ограничениях на матрицу ковариаций шума стохастических градиентов). Подобная аналогия улучшает понимание, как гиперпараметры обучения (такие как learning rate и weight decay) влияют на стационарное распределение стохастического градиентного спуска. Этот рассказ будет в первую очередь о математической красоте, когда в двух совершенно разных мирах (термодинамике и оптимизации) находятся две по сути одинаковые конструкции. #markovlab #seminar #spsu