Исследователи из MetaApp AI Research и нескольких китайских университетов разработали MetaDreamer — новый инструмент для быстрого создания 3D-моделей по текстовым описаниям. Метод призван преодолеть типичные проблемы при создании 3D-моделей, такие как несоответствие с разных ракурсов и медленное время обработки.
Для этого команда разделила генеративный процесс. Работа MetaDreamer состоит из двух основных этапов: сначала инструмент формирует 3D-объект (этап геометрии), чтобы он выглядел правильно со всех сторон. Затем, на этапе текстурирования, MetaDreamer добавляет детали и текстуры, чтобы объект выглядел реалистично.
В частности, на этапе геометрии команда MetaDreamer оптимизирует грубую 3D-модель в Instant-NGP с помощью опорного изображения, полученного с помощью диффузионной модели, и нескольких изображений, полученных с помощью многоракурсной диффузионной модели под разными углами. На втором этапе полученная модель дорабатывается в Instant-NGP с помощью дополнительных детальных изображений, сгенерированных ИИ.
По словам разработчиков, этот метод позволяет получить более быстрые и качественные 3D-модели. MetaDreamer может создавать детализированные 3D-объекты из текста всего за 20 минут на графическом процессоре Nvidia A100, что на сегодняшний день является самым быстрым показателем в данной области.
MetaDreamer превзошел Dreamfusion и Magic3D по скорости, качеству и степени соответствия моделей текстовым описаниям, а также получил наивысший балл в бенчмарке T3Bench — стандарте для оценки качества 3D-моделей.
Однако инструмент еще не совершенен: например, он с трудом справляется с созданием сцен с несколькими объектами. Команда планирует решить эту проблему в будущем, улучшив понимание модели взаимодействия объектов в трехмерном пространстве.
Другими примерами генеративных моделей ИИ для 3D являются Dream Fields от Google, CLIP-Mesh, Point-E и Shap-E от OpenAI, Dream3D от Tencent, а также 3D Gaussian Splatting. Luma AI также имеет коммерческое предложение под названием Genie.
Более подробную информацию и примеры можно найти на странице проекта MetaDreamer.
