Команда GenAI компании Meta представила Fairy — новую ИИ-модель синтеза видео в видео, которая работает быстрее и более согласована по времени, чем существующие модели.

Исследовательская группа продемонстрировала Fairy в нескольких приложениях, включая замену персонажей/объектов, стилизацию и создание длинных видео. Для редактирования исходного видео достаточно ввести простую текстовую подсказку, например, "в стиле Ван Гога" или "Turn into a Yeti".

Fairy использует кросс-кадровое внимание для уменьшения расхождений между кадрами и может генерировать 4-секундные видео всего за 14 секунд, что в 44 раза быстрее, чем предыдущие модели. Как и видеомодели Emu от Meta, Fairy основана на диффузионной модели обработки изображений, которая была усовершенствована для редактирования видео.

Fairy обрабатывает все кадры исходного видео без временной понижающей дискретизации или интерполяции кадров и изменяет горизонтальный аспект выходного видео до 512x384 пикселей с сохранением соотношения сторон. В тестах с шестью графическими процессорами A100 Fairy смогла отрисовать 27-секундное видео за 71,89 секунды с высокой визуальной стабильностью.

Производительность Fairy была проверена на 1 000 сгенерированных образцах. 

В настоящее время модель испытывает проблемы только с эффектами окружающей среды, такими как дождь, огонь или молния, которые либо плохо вписываются в общую сцену, либо просто создают визуальные ошибки.

По мнению исследователей, это связано с фокусом на временной согласованности, в результате чего динамические визуальные эффекты, такие как молния или пламя, выглядят статичными или застывшими, а не динамичными и текучими.