Достижения в области 3D-реконструкции позволяют осуществлять высококачественное преобразование текста в трехмерное моделирование, создавая 3D-модель из текста менее чем за полчаса.

В августе группа специалистов представила 3D Gaussian Splatting — новый метод искусственного интеллекта (ИИ), позволяющий осуществлять высококачественный рендеринг полей сияния в реальном времени. Используя всего несколько десятков фотографий, он может создавать фотореалистичные 3D-сцены в реальном времени после нескольких минут обучения.

С тех пор этот метод привлек к себе внимание в области 3D-реконструкции и стал доступен всем желающим через такие приложения, как Polycam.

В настоящее время появились первые работы, использующие 3D Gaussian Splatting для генерации 3D-моделей из текстовых описаний. В основном они следуют известным архитектурам, например, используют 3D-диффузионную модель, такую как Point-E от OpenAI, для генерации облака точек, на основе которого инициализируются 3D-гауссианы. Затем их геометрия и внешний вид уточняются с помощью 2D-моделей диффузии для генерации изображений.

Аналогичные подходы используются в DreamFusion и Magic3D. Гауссовы 3D-методы, такие как GSGen3D или GaussianDreamer, позволяют достичь аналогичных или лучших результатов за гораздо меньшее время: если в старых методах на создание одного объекта уходило несколько часов, то в новых методах 3D-объекты создаются менее чем за час.

Ожидается дальнейшее повышение качества и скорости работы. Возможности существующих моделей по обработке сложных подсказок пока ограничены, и в качестве причины называют низкий уровень понимания текста Point-E и CLIP в Stable Diffusion. Более совершенные варианты этих моделей могли бы позволить создавать более сложные 3D-модели с более точными подсказками, подобно тому, что демонстрирует DALL-E 3 от OpenAI.

Другие примеры, код и дополнительную информацию можно найти на страницах проектов GSGen3D и GaussianDreamer.