Пока админ перебиралась по работе на Балканы, тут челики из лабы Сингапурского университета представили Kiwi-Edit — опенсорс фреймворк для редактирования видео, который объединяет и текстовые инструкции, и визуальные референсы. Что прикольного: ☝️ можно редактировать видео просто текстом (например, «замени куртку на синий пуховик») или загрузить картинку-референс, чтобы модель сама скопировала стиль или объект оттуда; ☝️ в отличие от многих аналогов, Kiwi-Edit отлично (ну правда неплохо) справляется с точечными задачами. Например, добавить шляпу на персонажа, не ломая всё остальное. Хотя свои артефакты внесёт; ☝️ позволяет сделать неплохой рестайл видео, сохраняя при этом движения героев. Но опять же качество выходного видео будет ниже исходного; ☝️ поддерживает разрешение 720p и в целом нет "мерцаний" от кадра к кадру. Если копнуть в архитектуру и детали: модель построена на связке мультимодальной языковой модели (MLLM) и диффузионного трансформера (DiT). Это позволяет ей буквально понимать структуру сцены и ваши пожелания для редактирования. Разрабы данной модели выложили в открытый доступ не только код и веса моделей, но и огромный датасет на 477 тысяч примеров. Так что однозначно +реп. Примеры работы есть у них на сайте, а также есть поднятая gradio-демка, так что сами можете потестить. 🥂