похоже что Sora мы еще не скоро пощупаем, а потому продолжаем работать с тем что есть. и пока что AnimateDiff остается самым гибким и перспективным инструментом, доступным каждому Даниил Дорошков прислал классное видео. задумка взята с реддита, где чел использовал симуляции дыма и огня из Embergen как основу и превращал с помощью AnimateDiff в кайфовые анимации цветов. Даниил взял готовые футажи дыма со стоков и обработал стандартным воркфлоу vid2vid с добавлением контролнетов Depth и Lineart Универсальных настроек не нашел, под каждое входное видео нужно подстраивать индивидуально. Ну и основная работа состояла из подбора настроек и композа всяких аморфных видосов для входного изображения. Чекпойнты моделей и лоры пробовал разные, мне зашли нескольо анимэшных, получилась стилистика олдового аниме. чтобы оценить возможности метода рекомендую еще прогуляться по инсте shanef3d, который тоже вдохновился этим пайплайном. у него и цветочки и грибочки и даже рыбки из дыма есть пост на реддите гайд и воркфлоу на civitai инстаграм Даниила инстаграм shanef3d @тоже_моушн