Исследователи из Технического университета Мюнхена разработали DiffusionAvatars — метод создания высококачественных 3D-аватаров с реалистичной мимикой.

Система была обучена на основе RGB-видео и 3D-сетки человеческих голов. После обучения система способна анимировать аватары. Анимацию она берет из входных видео, а также генерирует мимику с помощью простого управления.

DiffusionAvatars сочетает в себе возможности синтеза изображений с помощью двумерных диффузионных моделей и согласованность трехмерных нейронных сетей. В качестве последних DiffusionAvatars использует так называемые "нейропараметрические модели головы" (NPHM) для предсказания геометрии человеческой головы. По словам команды, эти модели обеспечивают лучшие геометрические данные, чем обычные 3D-модели.

В будущем технология может найти применение в таких областях, как VR/AR-приложения, иммерсивные видеоконференции, игры, киноанимация, виртуальные ассистенты и изучение языков. Такие компании, как Meta и Apple, также ведут исследования в области создания реалистичных аватаров с помощью ИИ.

У этой технологии есть свои ограничения: текущая архитектура все еще требует больших вычислительных затрат и поэтому пока не подходит для приложений, работающих в режиме реального времени.

Более подробную информацию можно найти на странице проекта DiffusionAvatars.