Следующий доклад на семинаре лаборатории Маркова будет опять удалённый, но на этот раз из Москвы. Это, кстати, ещё один хороший источник докладчиков на семинарах — я сейчас у Дмитрия в комитете по защите диссертации, так что вот заодно позвал его о своей диссертации рассказать у нас. Язык анонса сегодня особенно шершав, потому что это буквально абстракт диссертации: Устойчивость моделей глубокого обучения Ссылка на трансляцию (пятница 3 апреля, 14:00) Дмитрий Корж (Сколковский институт науки и технологий) В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения. Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда. Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга. #markovlab #seminar #spsu