Компания Meta представила Movie Gen, новую модель искусственного интеллекта (ИИ), способную генерировать видео, изображения и аудио на основе текстовых подсказок. Кроме того, ИИ-модель также может редактировать существующие видео.
В основе Movie Gen лежит модель трансформации с 30 млрд параметров для генерации видео и изображений. Она создает видео длительностью до 16 секунд с частотой 16 кадров в секунду и поддержкой различных соотношений сторон (1:1, 9:16, 16:9) при разрешении 768х768 пикселей. Дополнительный апскейлер позволяет увеличить разрешение до Full HD (1080p).
Персонализированные видео
Персонализация стала еще одним шагом вперед: Movie Gen позволяет загрузить изображение себя или других людей для создания персонализированных видеороликов. Сочетая загруженное изображение с текстовой подсказкой, ИИ генерирует видео, на котором изображены вы или выбранный вами человек / объект. Эта способность открывает творческие возможности, позволяя представить себя в различных сценариях — от фантастических до повседневных приключений.
Редактирование существующих видео
В Movie Gen можно загрузить существующее видео и по определенным подсказкам изменить его содержание, будь то изменение фона, добавление или удаление объектов или изменение общего визуального стиля. В отличие от традиционного программного обеспечения для редактирования видео, которое часто требует специальных навыков, функция редактирования Movie Gen позволяет вносить точные, локализованные правки, сохраняя целостность исходного видео.
Создание аудио
Отличительной особенностью Movie Gen является возможность генерировать аудио, синхронизированное с видеоконтентом. Отдельная модель с 13 млрд параметров отвечает за генерацию звука. Она может создавать звук, фоновую музыку и звуковые эффекты для видео длиной до 45 секунд при частоте дискретизации 48 кГц.
Meta видит Movie Gen как инструмент, который может расширить возможности режиссеров, создателей онлайн-контента и обычных пользователей. По замыслу, любой человек сможет оживить свою историю — от индивидуального анимированного приветствия до полноценного кинематографического фильма — используя лишь свое воображение и несколько строк текста.
Более подробная информация со всеми техническими подробностями здесь.
