3D LLM интегрирует понимание трехмерного окружения в большие языковые модели, переводя чат-боты из двухмерного мира в трехмерный.
Большие языковые модели и мультимодальные языковые модели могут работать с речью и двумерными изображениями, примерами могут служить ChatGPT, GPT-4 и Flamingo. Однако в этих моделях отсутствует истинное понимание трехмерной среды и физического пространства. Для решения этой проблемы исследователи предложили новый подход, получивший название 3D LLM.
3D LLM предназначены для того, чтобы дать ИИ представление о трехмерном пространстве, используя в качестве входных данных трехмерные данные, например, облака точек. Таким образом, мультимодальные языковые модели должны понимать такие понятия, как пространственные отношения, физика и возможности, которые трудно понять только с помощью двумерных изображений. 3D LLM могут позволить ИИ-помощникам лучше ориентироваться, планировать и действовать в трехмерных мирах, например, в робототехнике и приложениях воплощенного ИИ.
Для обучения моделей был создан набор данных из более чем 300 000 примеров 3D-текстов, охватывающий такие задачи, как 3D-маркировка, ответы на визуальные вопросы, декомпозиция задачи и навигация.
Затем команда разработала экстракторы 3D-характеристик для преобразования 3D-данных в формат, совместимый с предварительно обученными языковыми моделями 2D-зрения, такими как BLIP-2 и Flamingo.
Кроме того, исследователи используют механизм 3D-локализации, который позволяет моделям фиксировать пространственную информацию, связывая текстовые описания с 3D-координатами. Это также позволило использовать такие модели, как BLIP-2, для эффективного обучения 3D LLM пониманию трехмерных сцен.
Эксперименты показали, что 3D-модели языка способны генерировать описания 3D-сцен на естественном языке, вести 3D-диалоги, декомпозировать сложные задачи на 3D-действия и соотносить язык с пространственными координатами. По мнению исследователей, это демонстрирует потенциал ИИ для развития более человеческого восприятия трехмерной среды за счет использования возможностей пространственного мышления.
