Исследователи из Bytedance разработали MagicVideo-V2 — новую генеративную ИИ-модель для генерации текста в видео (T2V), которая, как утверждается, превосходит другие системы T2V, такие как Runways Gen-2, Pika 1.0, Morph, Moon Valley или Stable Video Diffusion.

По словам команды, MagicVideo-V2 отличается от существующих моделей T2V тем, что объединяет несколько модулей, которые работают вместе для создания высококачественного видео. Команда объединяет модули преобразования текста в изображение (T2I), изображения в видео (I2V), видео в видео (V2V) и интерполяции видеокадров (VFI) в единую архитектуру.

Модуль T2I генерирует исходное изображение из текстового ввода как основу для дальнейшего создания видео. Модуль I2V использует это изображение в качестве входного и предоставляет ключевые кадры низкого разрешения для сгенерированного видео. Модуль V2V увеличивает разрешение ключевых кадров и повышает уровень их детализации. Наконец, модуль VFI интерполирует и сглаживает движение в видео.

По словам исследователей, MagicVideo-V2 может генерировать видео высокого разрешения 1048х1048 пикселей, соответствующее текстовым подсказкам.

Исследователи планируют и дальше совершенствовать MagicVideo-V2. Больше примеров и сравнений с другими моделями можно найти на странице проекта MagicVideo-V2.