Компания Google представила VideoPoet, новую генеративную систему искусственного интеллекта, которая может создавать и редактировать видео из текста и других данных.

По словам Google, VideoPoet — это большая языковая модель, предназначенная для решения различных задач по созданию видео, включая преобразование текста в видео, изображения в видео, а также преобразование видео в аудио. В отличие от конкурирующих моделей, VideoPoet объединяет множество возможностей в единую модель, а не полагается на отдельно обученные компоненты для каждой задачи.

VideoPoet может генерировать видеоролики с различными движениями и стилями в зависимости от содержания текста. Она также может принимать входное изображение и анимировать его с помощью подсказок, а также создавать видеоклипы на основе текста с описанием. По умолчанию модель генерирует видео в портретной ориентации, чтобы адаптировать его к короткому контенту.

Примечательной особенностью VideoPoet является возможность интерактивного редактирования видео. Пользователи могут направлять модель для изменения движений или действий в видео, обеспечивая высокую степень творческого контроля. Модель также может точно реагировать на команды движения камеры, что еще больше повышает ее полезность при создании динамичного и визуально убедительного контента. Кроме того, VideoPoet может генерировать правдоподобное аудио для сгенерированного видео без каких-либо подсказок, демонстрируя превосходное мультимодальное понимание.

По умолчанию VideoPoet создает 2-секундные видеоролики. Однако, получив 1-секундный видеоклип, он может предсказать 1 секунду видео. Этот процесс можно повторять бесконечно, чтобы получить видео любой продолжительности.