Программа Genie от Luma AI может генерировать 3D-контент на основе текстовых подсказок и уже доступна в виде бесплатной предварительной исследовательской версии через Discord.
Стартап Luma AI из Кремниевой долины специализируется на объединении технологий искусственного интеллекта (ИИ) с 3D-контентом, например, на генерации NeRF или других 3D-форматов из видео, снятого на смартфон. Теперь компания выпустила Discord-бота под названием Genie для генерации текста в 3D.
Genie позволяет пользователям ввести текстовую команду и примерно через 20 секунд получить четыре исходные простые 3D-модели, каждая из которых содержит интерактивную ссылку для просмотра или загрузки в виде 3D-объекта в формате glb. Кроме того, у пользователей есть возможность доработать модель для повышения разрешения и получения более точных результатов. В настоящее время этот процесс занимает около 20 минут.
В перспективе ожидается, что Genie найдет применение в разработке игр и виртуальном производстве. До сих пор создание обширного игрового мира со сложными 3D-активами было трудоемким и сложным процессом, зачастую требующим привлечения целой команды специалистов. С помощью Genie разработчики игр могут легко воплотить свое видение в словах. Это позволит художникам сосредоточиться на улучшении активов, а не создавать их с нуля.
Среди других областей применения Luma AI — виртуальные производственные студии. В настоящее время Genie является "предварительной исследовательской версией", которую компания продолжит совершенствовать, как и базовую модель, прежде чем запустить ее в качестве платной услуги.
Теперь, когда генеративный ИИ для текста и изображений изменил многие отрасли и сферы деятельности, генеративные модели для 3D и видео рассматриваются как следующее препятствие, которое хотят преодолеть исследовательские лаборатории и компании.
В частности, модели "текст — 3D", как и модели 2D-изображений, такие как Stable Diffusion, Midjourney или DALL-E 3, могут в первую очередь повлиять на художников. Разработка таких моделей ведется, по крайней мере, с 2021 года. В качестве примера можно привести такие модели, как Dream Fields и Dreamfusion от Google, CLIP-Mesh, Point-E и Shap-E от OpenAI, Magic3D от Nvidia, Dream3D от Tencent и, совсем недавно, 3D Gaussian Splatting.
Genie Luma AI доступен через Discord. Ссылка доступна на сайте Luma AI.
