Компания Stability AI выпустила Stable Video Diffusion — генеративную модель искусственного интеллекта (ИИ), способную генерировать короткие видео на основе текстовой подсказки. Stable Video Diffusion, согласно собственным тестам компании, уже превосходит коммерческих конкурентов RunwayML и Pika Labs.

Stable Video Diffusion доступна в виде двух моделей преобразования изображений в видео, каждая из которых способна генерировать 14 и 25 кадров с разрешением 576x1024.

Основанная на модели изображений Stable Diffusion, модель Video Diffusion была обучена Stability AI на тщательно подобранном наборе высококачественных видеоданных.

Благодаря тонкой настройке, модель помимо генерации видео из текстовой подсказки, также может генерировать многоракурсное видео из одного входного изображения. Stability AI планирует и в дальнейшем развивать экосистему моделей, которые будут строиться и расширяться на этой основе, подобно тому, как это было сделано со Stable Diffusion.

Новая модель генерации видео доступна в виде предварительной исследовательской версии. Это сделано для того, чтобы собрать отзывы пользователей, а затем доработать модель для финального релиза. Исходный код модели опубликован на GitHub. Веса для запуска модели доступны на HuggingFace.

В дополнение к выпуску исследовательской версии Stability AI открыла лист ожидания на новый веб-инструмент с интерфейсом "текст-видео". Этот инструмент призван облегчить практическое применение Stable Video Diffusion в различных областях, таких как реклама, образование и развлечения.