Kuaishou, китайская платформа для создания коротких видеороликов (аналогичная TikTok), представила Kling, новую мощную модель преобразования текста в видео. Kling способна генерировать видео продолжительностью до двух минут с разрешением 1080p и частотой 30 кадров в секунду. Она также поддерживает различные соотношения сторон, что делает ее универсальной для создания и размещения контента на разных платформах.
Видеоролики, созданные Kling, уже активно распространяются в социальных сетях и впечатляют пользователей реалистичностью движений, соблюдением физических законов и креативностью.
Компания Kuaishou не поделилась подробными техническими характеристиками своей модели, но, как и Sora, она оснащена довольно впечатляющими функциями, которые выделяют ее из общего ряда. Kling использует 3D-механизм пространственно-временного внимания, который позволяет ей эффективно моделировать сложные движения, что приводит к плавности и естественности движений в генерируемом контенте.
Kling также впечатляет своей способностью моделировать физику реального мира. Например, в видеороликах показано реалистичное взаимодействие с жидкостями, отражениями и тенями, при этом сохраняется высокий уровень визуальной достоверности.
Помимо создания реалистичного контента, Kling отлично справляется с визуализацией вымышленных сцен.
Компания также работает над несколькими функциями, основанными на возможностях Kling:
AI Dance King: Эта функция доступна в приложении Kuaishou и Kuaiying. Для ее реализации необходимо загрузить фотографию в полный рост. После чего ИИ создает реалистичный танец под музыку с человеком, фотография которого была загружена.
Для создания таких реалистичных танцевальных видео используется ИИ-генератор видео Kling, а также запатентованная технология 3D-реконструкции лица и модули стабилизации и перенаправления фона.
AI Sing and Dance: Планируемая к выпуску в ближайшем будущем. Эта функция расширяет возможности AI Dance King, позволяя создавать музыкальные видео, в которых человек не только танцует, но и поет. Для ее реализации также достаточно загрузить всего одну фотографию в полный рост.
Image-to-Video: Kuaishou готовится запустить функцию преобразования изображений в видео в приложении Kuaiying, которая позволит пользователям создавать видео из статичных изображений с помощью возможностей Kling.
