На прошлой неделе заехал на Data Dojo — традиционную встречу ML-сообщества Яндекса. В этот раз собрали программу с обзором трендов и итогами года в ML Делюсь фактами, которые показались мне интереснее всего из двух выступлений: 🧬 Сергей Овчаренко, руководитель отдела мультимодального анализа и генерации, рассказал, какие задачи сейчас решают ИИ (пока мы тратим токены на генерацию compose-кнопочек): 🔵VLA — на вход получают "видео" + "звук", на выход выдают "команды для робота" робот слышит "подними банку", видит банку -> генерируется N команд для двигателей, чтобы выполнить задачу 🔵World Modeling — генерация 3D-миров с соблюдением физики и возможностью перемещаться по этому миру 🔵Omni — модельки, умеющие одновременно обрабатывать звук, видео и текст 🧬Дмитрий Солодуха, руководитель команды голосовой активации, поговорил о пользе от ИИ в Алисе: 🔵отклик без явного обращения по имени — слать весь аудиопоток дорого и не секьюрно, поэтому создали локальную модельку, которая из всего потока выбирает потенциальные команды 🔵короткие команды "останови", "переключи" можно обработать локально, но нужна моделька, которую потянет слабый процессор колонки 🔵на колонке несколько микрофонов. звук до каждого доходит с задержкой. можно выявить шумы на первом и со сдвигом заглушить их на втором (если успеешь🦔) 🔵если в комнате больше одной колонки, надо вычислять, к которой направлено обращение