В новом исследовании Google AI представлен Lumiere — новый генератор текста в видео, предназначенный для создания реалистичных, разнообразных и согласованных движений в видео — задачи, которая исторически была сложной в области ИИ и компьютерного зрения.

Lumiere использует новую архитектуру Space-Time U-Net, обеспечивающую согласованность и плавность движения в видео.

С помощью Lumiere можно создавать полноценные видеоролики, демонстрирующие удивительно плавные движения камеры и сложную анимацию объектов, длящуюся несколько секунд. Исследователи подчеркивают, что Lumiere подходит для различных творческих приложений, помимо генерации текста в видео:

Изображение-видео: Модель плавно преобразует неподвижные изображения в видео, ориентируясь на первый кадр.

Видеоинкрустация: Lumiere может анимировать произвольно замаскированные области существующего видео на основе текстовых подсказок. Это открывает интригующие возможности для редактирования видео, вставки и/или удаления объектов.

Стилизованная генерация: Используя одно опорное изображение, Lumiere может генерировать видео в заданном стиле, применяя точно настроенные весовые коэффициенты модели "текст-изображение".

Синемаграфы: Локализованные эффекты движения, когда часть изображения остается неподвижной, а другая часть демонстрирует движение, что придает неподвижным изображениям захватывающую эстетику.

Несмотря на достигнутые успехи, возможности Lumiere остаются ограниченными, когда речь идет о видео, требующем переходов между отдельными сценами и кадрами. Этот пробел в возможностях представляет собой важное направление для будущих исследований диффузионных моделей.