Компания Meta выпустила 3D Gen, новую систему искусственного интеллекта, которая генерирует высококачественные 3D-объекты из текстовых описаний менее чем за 60 секунд. 

Технология объединяет две существующие модели Meta: AssetGen для генерации 3D-объектов и TextureGen для текстурирования. Meta утверждает, что такая интеграция позволяет создавать 3D-объекты более высокого качества для иммерсивного контента.

Meta 3D Gen работает в два этапа: на первом этапе AssetGen генерирует 3D-объект с текстурой и физическим рендерингом (Physical Based Rendering, PBR) из текстового описания примерно за 30 секунд. На втором этапе TextureGen может либо оптимизировать текстуру объекта, сгенерированного на первом этапе, на основе исходного описания, либо создать текстуру для любой неструктурированной 3D-сетки, используя новую спецификацию. Шаг 2 занимает около 20 секунд каждый. Поскольку 3D Gen поддерживает PBR, возможно повторное редактирование сгенерированных объектов.

Оба этапа основаны на моделях преобразования текста в изображение от Meta из семейства Emu. Они оптимизированы с помощью синтетических 3D-данных для многоракурсной генерации в пространстве изображений и UV, что, по словам команды, улучшает текстуры.

Meta 3D Gen отличается не только скоростью работы, но и способностью выдавать высококачественные результаты для широкого спектра подсказок. Система может работать с простыми объектами, сложными персонажами и запутанными сценами с удивительной точностью.

Потенциальные возможности применения этой технологии огромны. Разработчики игр могут использовать 3D Gen для быстрого создания прототипов окружения и персонажей, что значительно ускорило бы процесс разработки. Фирмы, занимающиеся архитектурной визуализацией, могут генерировать детальные 3D-модели зданий и интерьеров на основе текстовых описаний, упрощая процесс проектирования. В области виртуальной и дополненной реальности 3D Gen может обеспечить быстрое создание иммерсивных сред и объектов, потенциально ускоряя разработку метавселенных приложений.