Ученые из Шанхайского технологического университета разработали ИИ-модель под названием CLAY, которая может генерировать детализированные 3D-объекты из текста и изображений. Модель превосходит предыдущие подходы по качеству и универсальности.

По словам исследователей, CLAY может генерировать широкий спектр объектов — от простых повседневных предметов до сложных фантастических существ. Система была обучена на более чем 500 000 3D-моделей.

Ученые видят различные области применения CLAY, такие как разработка игр, производство фильмов или 3D-печать. Система может значительно упростить трудоемкое ручное создание 3D-моделей.

В основе CLAY лежат вариационный автоэнкодер (VAE) и диффузионный трансформатор (DiT) с несколькими разрешениями. VAE кодирует 3D-геометрию на различных уровнях детализации в латентное пространство, а DiT отвечает за генерацию геометрии. В отличие от многих других методов, CLAY обрабатывает 3D-контент "нативно", без предварительного преобразования в 2D.

Уникальной особенностью CLAY является возможность управления генерацией с помощью дополнительных входных данных. Помимо текстов и изображений, можно задавать грубые формы (воксельные структуры, облака точек) или ограничительные рамки. Это позволяет более точно контролировать конечный результат.

Еще одно преимущество CLAY — скорость: CLAY создает высококачественные 3D-объекты примерно за 45 секунд.

При прямом сравнении CLAY превзошел существующие системы преобразования текста в трехмерное изображение, такие как Shap-E, DreamFusion или Wonder3D, как в качественных, так и в количественных оценках.

Версия CLAY доступна через сервис Rodin.