Развивающиеся технологии ИИ позволяют создавать все более реалистичные виртуальные аватары людей. В двух последних исследовательских проектах Института интеллектуальных систем имени Макса Планка демонстрируются подходы, позволяющие разделить различные компоненты аватара, такие как тело, одежда и волосы, для последующего редактирования.

В работе под названием "DELTA: обучение разборных аватаров с помощью гибридных 3D-представлений" исследователи демонстрируют метод создания аватаров с отдельными слоями для тела, одежды и волос. Основная идея заключается в использовании различных 3D-представлений для разных компонентов: тело моделируется с помощью явной модели на основе сетки, а одежда и волосы — с помощью нейронного поля сияния (NeRF), которое может передавать сложные формы и внешний вид.

Аватары с отдельными слоями могут быть созданы на основе одного RGB-видео. После обучения аватары можно использовать в таких приложениях, как виртуальная примерка одежды и редактирование фигуры, где одежду и прическу можно легко перенести с одной фигуры на другую.

В работе "TECA: Генерация и редактирование составных 3D-аватаров с помощью текста" исследователи решают задачу создания аватаров только на основе текстовых описаний. Для этого они используют Stable Diffusion и гибридные 3D-представления, разработанные в DELTA.

Сначала система с помощью Stable Diffusion генерирует изображение лица из текстового описания, после чего последовательно раскрашивает сетку текстурой. Затем, подключив к задаче нейросеть NeRF, добавляются волосы, одежда и другие атрибуты.

Аватары с отдельными слоями, созданные с помощью этого метода, имеют значительно более высокое качество по сравнению с предыдущими методами преобразования текста в аватар.

Более подробная информация, примеры и код доступны на GitHub DELTA и TECA.