Компания Stability AI представила Stable Video 4D — новую диффузионную модель, позволяющую генерировать динамический 3D-контент из одного видео. Stable Video 4D основывается на Stable Video 3D, выпущенной Stability AI в марте, которая первоначально генерировала объекты из изображений и создавала из них статичные 3D-объекты. Stable Video 4D развивает эту технологию, создавая движущийся 3D-видеоконтент (также известный как 4D) из видео.

Приложение отличается удобством использования: пользователь может загрузить видео, указать желаемые положения 3D-камеры, и Stable Video 4D быстро создает восемь новых видеороликов, которые следуют за указанными ракурсами камеры, обеспечивая всесторонний обзор объекта с разных сторон.

По данным Stability AI, генератор 4D-видео требует около 40 секунд для создания видеороликов по 5 кадров с 8 ракурсами в разрешении 576х576 пикселей и еще 20-25 минут для 4D-оптимизации. 

Одна из ключевых особенностей Stable Video 4D — способность одновременно генерировать несколько новых видео, обеспечивая неизменность внешнего вида объекта при разных ракурсах и временных отметках. Исследователи добились этого, объединив видео и многоракурсную модель диффузии, в данном случае Stable Video Diffusion и Stable Video 3D. 

Исследователи считают, что отсутствие обучающего набора данных мешает созданию мощной 4D-модели. Чтобы решить эту проблему, они составили ObjaverseDy, который был получен из существующего набора данных Objaverse и отфильтрован на предмет подходящего контента. Веса модели SV4D были инициализированы с помощью предварительно обученных весов SVD и SV3D.

Stability AI видит потенциальное применение Stable Video 4D в разработке игр, видеомонтаже и виртуальной реальности.

Генератор 4D-видео уже доступен на Hugging Face.