ИИ-стартап Luma Labs представил Dream Machine — видеогенератор, предназначенный для создания качественных и реалистичных видеороликов из текстовых подсказок и изображений. Инструмент уже доступен для тестирования.

Dream Machine обучен непосредственно на видео, что позволяет генерировать физически точные, последовательные и даже насыщенные действием сцены.

Стартап утверждает, что модель понимает, как люди, животные и объекты взаимодействуют с физическим миром, в результате чего достигается высокая согласованность персонажей и правильная физика. 

Длина видео в настоящее время ограничена пятью секундами. Видео, состоящее из 120 кадров, может быть создано всего за 120 секунд. Dream Machine также стремится дать возможность экспериментировать с различными кинематографическими и естественными движениями камеры.

Dream Machine станет первой в серии "Frontier Generative Models" от Luma AI, которая поможет пользователям генерировать новый контент из изображений, видео, текста и других исходных данных. 

LumaLabs AI — стартап, известный в основном применением генеративного ИИ в процессе 3D-моделирования, в частности с использованием NeRFs. С помощью API и веб-интерфейса Luma video-to-3D разработчики и конечные пользователи могут создавать 3D-модели из изображений или видео. Luma AI также предлагает интерфейс преобразования текста в 3D под названием Genie, который генерирует 3D-модели из текстовых описаний.