Компания RunwayML представила новую ИИ-модель под названием Act-One, которая позволяет передавать мимику и движения головы реальных исполнителей персонажам, сгенерированным искусственным интеллектом (ИИ).

Традиционные методы лицевой анимации часто связаны со сложными рабочими процессами и требуют использования специализированного оборудования. Act-One стремится упростить этот процесс, перенося игру актера непосредственно на анимированного персонажа с помощью только видео и голосовых записей. По словам RunwayML, модель способна улавливать и передавать даже мельчайшие детали выступления, и для этого достаточно лишь смартфона.

В демонстрационном ролике RunwayML показывает, как Act-One переносит представление с одного входного видео на различные модели и стили персонажей. Компания утверждает, что модель дает кинематографически реалистичные результаты и хорошо работает с различными углами обзора и фокусными расстояниями.

Хотя очевидным вариантом использования является передача человеческой мимики и голоса анимированным персонажам для игр и анимационных фильмов, RunwayML также представляет другой сценарий: применение актерских постановок к фотореалистичным аватарам.

Доступ к Act-One уже постепенно открывается для пользователей и в ближайшее время будет доступен всем.