Компания OpenAI анонсировала свой новый продукт — Sora, впечатляющую модель преобразования текста в видео, которая может генерировать яркие 60-секундные видеоролики на основе одних только текстовых подсказок. Хотя Sora не первая модель, способная создавать очень реалистичные видеоролики (например, есть еще такие, как Runway и Pika), на данный момент только эта модель может похвастаться беспрецедентным уровнем визуальной достоверности и, что самое главное, временной стабильностью. При этом, по словам OpenAI, она следует инструкциям пользователя.
Если взглянуть на видеоролики, созданные Sora, то можно заметить, что ИИ автоматически составляет динамичные сцены с различными ракурсами, движениями и переходами, отсутствующими в текстовых подсках пользователя. При этом модель также демонстрирует понимание освещения и работы камеры, словно режиссер. Все движения в видеороликах плавные и естественные, а персонажи и окружение наполнены сложными деталями.
OpenAI рассматривает Sora как основополагающую модель, "которая может понимать и моделировать реальный мир", что является важным шагом на пути к созданию искусственного интеллекта общего назначения (AGI).
Sora построена на архитектуре трансформатора, подобной GPT, что обеспечивает удивительную масштабируемость и эффективность. Она представляет видео как коллекции патчей данных (подобно лексемам в языковых моделях), обучаясь сложным сопоставлениям между текстовыми описаниями и визуальными проявлениями кадр за кадром. Это позволяет Sora обрабатывать разнообразные визуальные данные различной длительности, разрешения и соотношения сторон. Кроме того, Sora может расширять существующие видео и заполнять недостающие кадры, что является уникальной опцией для создания длинных видеороликов.
Перед широким выпуском OpenAI предоставляет доступ к модели избранной группе специалистов, художников, дизайнеров и кинематографистов. Цель — оценить потенциальные риски и вред модели, а также собрать отзывы и доработать модель для улучшения ее возможностей. Такое сотрудничество крайне важно для адаптации модели к потребностям профессионалов в различных областях, от развлечений до дизайна.
