ИИ-стартап Genmo выпустил видеомодель Mochi 1 с открытым исходным кодом. По словам компании, это самая большая из общедоступных моделей ИИ для генерации видео на сегодняшний день, содержащая 10 миллиардов параметров.

Модель была разработана с нуля и, по словам Genmo, устанавливает новые стандарты в двух важнейших областях: качество движений и точность выполнения текстовых инструкций. Mochi 1 может генерировать видео со скоростью 30 кадров в секунду и продолжительностью до 5,4 секунды. По словам Genmo, модель очень реалистично имитирует такие физические эффекты, как жидкость, мех / волосы и тени.

Компания отмечает, что модель оптимизирована для фотореалистичного контента и меньше подходит для анимированного. Текущая версия Mochi 1 создает видео с разрешением 480p. HD-версия с разрешением 720p появится позже в этом году.

Технически Mochi 1 основан на новой архитектуре под названием Asymmetric Diffusion Transformer (AsymmDiT). Она обрабатывает текстовый и видеоконтент отдельно, причем визуальная часть использует примерно в четыре раза больше параметров, чем текстовая. В отличие от других современных диффузионных моделей, Mochi 1 использует только одну языковую модель (T5-XXL) для обработки подсказок.

Весовые коэффициенты и код модели доступны под лицензией Apache 2.0 на Hugging Face и GitHub. Желающие также могут бесплатно опробовать модель через рудиментарную игровую площадку на сайте Genmo.

Хотя качество модели впечатляет для открытой видеомодели, коммерческие ИИ-видеогенераторы, такие как Runway Gen-3, в настоящее время опережают её. Инструмент, созданный на основе Runway Gen-3, может создавать более длинные ролики с высоким разрешением и поддерживает множество дополнительных функций. Другие предложения доступны от Kling, Vidu и MiniMax. Компания Meta также недавно выпустила новую модель видео под названием Movie Gen.