🌿 На очереди разбор следующей статьи с ICLR Unlocking the Potential of Weighting Methods in Federated Learning Through Communication Compression 💡 О чём статья? В последнее время всё больше задач фомулируются в федеративном сеттинге: данные распределены по множеству слабо связанных устройств. Это вызывает две дополнительные проблемы: ⋅ Communication Bottleneck: агрегировать веса модели с сотен и тысяч устройств долго; ⋅ Data Heterogeneity: данные пользователей могут иметь существенно разные распределения (например, у кого-то фото только котов, у кого-то - только собак). Это бьёт по эффективности классических подходов. Сообщество продвинулось в решении этих проблем изолированно, что удобно для анализа. Но на практике эти сложности не приходят по одной. 🎯 Что мы предлагаем? Мы представляем ADI (Agnostic DIANA) - алгоритм, который впервые эффективно объединяет адаптивное взвешивание клиентов и сжатие коммуникаций. ⚠️ С чем пришлось столкнуться по пути? ⋅ Для назначения весов могут требоваться дополнительные коммуникации, обостряющие проблему дорогих пересылок; ⋅ Выбранная agnostic стратегия взвешивания меняет постановку и превращает задачу классической минимизации в седловую; ⋅ Ограничение на единичную сумму весов влияет на геометрию задачи; ⋅ Механизмы компрессии и взвешивания интерферируют в теоретическом анализе. ✅ Ключевые результаты: 📄 Теория: Доказали сходимость для выпуклых и невыпуклых задач, даже при использовании стохастических оракулов и частичной доступности клиентов. 🔨 Практика: Эксперименты на CIFAR-10/100 показывают, что ADI обходит бейзлайны, которые решают только одну из проблем, особенно в условиях сильной гетерогенности. 🔥 Эффективность:  ⋅ Адаптивная схема взвешивания назначает веса автоматически без дополнительной информации и тяжелых пересылок; ⋅ Продвинутая схема компрессии позволяет избежать накопления ошибки; ⋅ Optimistic шаги дополнительно снижают нагрузку на вычисление и передачу градиентов; ⋅ ADI не требует пересылки полных градиентов даже с малой вероятностью (что можно увидеть не у всех аналогов). ✨ Почему это важно? Мы показали, что компрессия и взвешивание могут эффективно работать в тандеме. Это открывает новые возможности для решения реальных федеративных задач. Наш алгоритм спроектирован с упором на эффективность, а теоретический анализ покрывает практически значимые сценарии. #разборстатьи