Исследователи из Stability AI и Tripo AI разработали новую модель искусственного интеллекта TripoSR, которая способна преобразовывать изображения в 3D-модели всего за полсекунды. TripoSR превосходит по качеству и скорости другие альтернативы с открытым исходным кодом и может работать в средах без GPU.

ИИ-модель использует одно RGB-изображение в качестве входного. Это изображение служит основой для последующей 3D-реконструкции. Отличительной особенностью создания 3D-объектов из простого изображения в TripoSR является то, что этот подход не требует параметров камеры, таких как информация о ее положении в пространстве. ИИ-модель "угадывает" эти параметры в процессе обучения и вывода, что повышает ее надежность и делает более устойчивой к реальным изображениям. Для повышения производительности TripoSR, команда использовала для ее обучения реалистичные и высококачественные 3D-модели из набора данных Objaverse.

Исходный код и веса моделей TripoSR доступны для загрузки по лицензии MIT, которая разрешает их использование в коммерческих, личных и исследовательских целях. Есть демо на Hugging Face и первая реализация сообщества для интерфейса ComfyUI.

Создавать 3D-объекты с TripoSR довольно просто. Пользователю нужно загрузить на платформу исходное изображение и нажать на кнопку Generate. После нескольких секунд обработки инструмент выдает 3D-модель изображения с автоматическим удалением любого присутствующего фона. Получив модель, можно перемещать и вращать ее, осматривая при этом на 360 градусов. С помощью ИИ также экстраполируются части объекта, которые не были видны на исходном изображении. Когда процедура завершена, пользователь может загрузить ее шаблон на локальный компьютер через файл в формате OBJ.

TripoSR станет отличным инструментом для индустрии развлечений, игр, промышленного дизайна и архитектуры, позволяя быстро и эффективно визуализировать 3D-объекты.

Другие примеры, код и модель доступны на Github и Hugging Face.