Компания OpenAI выпустила новую систему преобразования текста в 3D-модели под названием Shap-E. Нейросеть Shap-E доступна для загрузки (код на GitHub). С ее помощью можно генерировать 3D-объекты прямо из текстового описания или из предоставленных изображений.

Еще в декабре прошлого года OpenAI представила нейросеть Point-E (код проекта также есть на GitHub). Point-E способна принимать текстовые подсказки и использовать их для создания элементарных 3D-моделей. Модели представляют собой скопление точек, соединенных в заданную трехмерную форму.

Новая система преобразования текста в 3D-модели намного быстрее и способна строить свои модели в виде "неявных функций". То есть, алгоритмы Shap-E могут создать 3D-модель на основе частичного набора 2D-изображений по технологии нейронных полей сияния (NeRFs). Полученные объекты можно будет использовать для работы с VR/AR приложениями, программами для дизайнеров, архитекторов, создателей игр.

На данный момент, Shap-E требует редакции для получения более качественных трехмерных изображений.