Китайская компания Shengshu Technology и Университет Цинхуа представили Vidu — инновационную модель преобразования текста в видео. Эта модель способна создавать 16-секундные HD-ролики в разрешении 1080p одним щелчком мыши. Анонс состоялся на форуме 2024 Zhongguancun в Пекине, где Vidu пытались позиционировать как сильного конкурента Sora от OpenAI.

В основе Vidu лежит архитектура Universal Vision Transformer (U-ViT), которая, по словам компании, позволяет моделировать реальный физический мир с помощью многокамерного просмотра. Как сообщается, эта архитектура была разработана командой Shengshu Technology в сентябре 2022 года и, таким образом, предшествует архитектуре диффузионного трансформатора (DiT), используемой в Sora.

Vidu может генерировать видео со сложными сценами с соблюдением физики реального мира, например, реалистичным освещением и тенями. Модель также демонстрирует богатое воображение, создавая несуществующий, сюрреалистический контент с глубиной и сложностью. Многокамерные возможности Vidu позволяют создавать динамичные кадры с плавными переходами от дальних до передних крупных планов в рамках одной сцены.

Однако, несмотря на уверенность разработчиков, качество Vidu, похоже, отстает от Sora. Наиболее существенная разница заключается в том, что если Sora может генерировать непрерывные видео длительностью до минуты, то Vidu на данный момент способен создать только 16 секунд.

Тем не менее, с помощью Vidu Китай демонстрирует свои серьезные амбиции догнать или даже превзойти ведущие американские компании, такие как OpenAI, в гонке генеративных моделей ИИ.