Компания Nvidia анонсировала новую модель искусственного интеллекта (ИИ), которая создает 3D-объекты из текстовых описаний или изображений примерно за две минуты. Технология призвана изменить подход разработчиков к созданию 3D-объектов для игр, фильмов и приложений расширенной реальности.

Система, получившая название Edify 3D, создает как детализированную 3D-геометрию, так и текстуры высокого разрешения в формате 4K с помощью физически-ориентированного рендеринга (PBR). Nvidia утверждает, что эти активы могут работать непосредственно в производственных средах без дополнительной обработки.

Команда обучила Edify 3D, используя непубличные наборы данных с изображениями высокого разрешения. Многочисленные этапы предварительной обработки обеспечили качество и согласованность учебных активов.

Система работает в несколько этапов. Сначала диффузионная модель генерирует несколько совмещенных видов объекта под разными углами. Затем специализированная модель реконструкции объединяет эти виды в полную 3D-модель.

Ключевой особенностью Edify 3D является то, что он создает квадросетки — 3D-модели с чистой структурой и UV-картами, готовые к модификации 3D-художниками. Полученный результат выглядит более изысканным по сравнению с другими доступными на данный момент инструментами для создания 3D.



Технология не ограничивается созданием отдельных объектов. Nvidia показывает, как Edify 3D может генерировать полноценные 3D-среды, создавая несколько объектов на основе текстового описания и объединяя их в целостные сцены.

Исследователи подчеркивают, что созданные активы могут быть легко интегрированы в существующие рабочие процессы 3D и подходят для различных приложений, таких как видеоигры, дополненная реальность и кинопроизводство. Из технического отчета Nvidia неясно, будет ли Edify 3D общедоступна и когда.