​🎬 Технология бесшовного редактирования диалогов позволяет менять речь и мимику в готовых видео без пересъемок Приветствую в блоге «Нейрограм Новости». Сегодня мы обсудим технологию, которая может навсегда изменить видеопроизводство и избавить режиссеров от необходимости проводить дорогостоящие пересъемки. На портале Unite.AI появилась информация о новом фреймворке, который позволяет добавлять, удалять или полностью менять диалоги в уже снятом видео. Проблема классического монтажа проста: если вы решили изменить фразу героя после съемок, вам либо придется смириться с несовпадением губ (липсинка), либо переснимать сцену. Существующие ai-решения часто выглядят как «дипфейки» - лицо героя кажется отделенным от фона, а мимика - неестественной. ⏺В чем уникальность новой системы: Разработчики создали сквозную (end-to-end) систему на базе диффузионных трансформеров (DiT) и технологии Flow Matching. Это позволяет не просто «наложить» новые губы, а полностью регенерировать мимику и движения головы в конкретном фрагменте видео. ⏺Основные фишки технологии: Контекстная бесшовность: система использует один из средних кадров видео как стартовую точку, а следующий за ним реальный кадр - как цель. Ai генерирует вставку так, чтобы она идеально «вписалась» между ними по освещению, положению головы и общему движению. Точный липсинк через Cross-Attention: вместо того чтобы просто подавать звук в модель, аудио буквально «вплетается» в каждый блок обработки данных. Это позволяет синхронизировать движения губ с новой речью с хирургической точностью. Локальные правки без потери идентичности: векторы движения описывают только мимику и позы, не затрагивая личность человека. Вы можете изменить слово или целое предложение, и при этом герой останется собой, а его движения не станут дергаными или странными. Neurogram.news™️