Компания Meta и учёные из Университета Ватерлоо (Канада) создали систему искусственного интеллекта (ИИ) под названием MoCha. Эта система на основе текстовых описаний может создавать полноценную анимацию персонажей с синхронизированной речью и естественными движениями. В отличие от предыдущих моделей, которые фокусировались только на лице, MoCha анимирует всё тело с нескольких ракурсов камеры, включая синхронизацию губ, жесты и взаимодействие между несколькими персонажами.

Разработчики обучили ИИ-систему на 300 часах видео, чтобы улучшить её способности. MoCha особенно хороша в сценах с несколькими персонажами: пользователи могут легко управлять персонажами, используя метки, например, «Персонаж 1» или «Персонаж 2». Исследователи также разработали шаблон подсказок, позволяющий пользователям ссылаться на конкретных персонажей без повторных описаний.

В тестах MoCha показала лучшие результаты по сравнению с другими системами, особенно в синхронизации губ и естественности движений. 

ИИ-система MoCha может быть полезна в создании цифровых помощников, виртуальных аватаров, рекламы и образовательных материалов. Хотя Meta пока не сообщила, будет ли система доступна широкой публике, её появление открывает новые возможности в создании видео с помощью ИИ.