BRAIn Lab: Optimization and Beyond

Sign-SGD via Parameter-Free Optimization: sign-оптимизация без ручного подбора размера шага Сегодня разбираем статью, прошедшую на ICLR-26 и подготовленную совместно с комадной Yandex Research (исследователи пишут про принятые статьи в канале @MLunderhood). 💡 О чём работа? Sign-SGD любят за простоту и «дешевую» память: вместо полноценных градиентов можно передавать/хранить только их знаки — удобно и для распределенного обучения, и на одном устройстве. Но у него, как и у других классических опти...

▫️▫️▫️▫️▫️▫️▫️ 🌸▫️▫️ Сегодня мы отрываем от сердца и показываем вам лучшую и самую красивую часть нашей лаборатории💃. 🌷Поздравляем вас, все девушки науки и образования, с восьмым днём весны! Красоты и счастья в сердце, спокойствия от тревог и забот и только самых интересных и лучших проектов! А в карточках делимся фактами о наших девушках! ⤵️⤵️⤵️

🌿 На очереди разбор следующей статьи с ICLR Unlocking the Potential of Weighting Methods in Federated Learning Through Communication Compression 💡 О чём статья? В последнее время всё больше задач фомулируются в федеративном сеттинге: данные распределены по множеству слабо связанных устройств. Это вызывает две дополнительные проблемы: ⋅ Communication Bottleneck: агрегировать веса модели с сотен и тысяч устройств долго; ⋅ Data Heterogeneity: данные пользователей могут иметь существенно разные ра...