Исследовательский институт Intel объявил о сотрудничестве с Blockade Labs для выпуска диффузионной модели LDM3D (Latent Diffusion Model for 3D), которая использует генеративный ИИ для создания визуального 3D-контента.

Согласно отчетам, LDM3D — это ведущая в отрасли модель, которая применяет процесс диффузии для создания карты глубины, тем самым создавая реалистичную и захватывающую 360-градусную панораму. LDM3D способна произвести революцию в создании контента, метаверсивных приложений и цифрового опыта, преобразуя многие отрасли, включая развлечения, игры, архитектуру и дизайн.

Intel утверждает, что LDM3D была обучена на подмножестве из 10 000 образцов набора данных LAION-400M. LAION-400M — это крупномасштабный набор текстовых данных, содержащий более 400 миллионов пар изображений и подписей к ним. При создании обучающей базы данных исследовательская группа использовала DPT-Large — модель оценки глубины, ранее разработанную Intel Research, которая обеспечивает высокоточную относительную глубину для каждого пикселя изображения. Набор данных LAION-400M был создан в исследовательских целях, чтобы разработчики и другие заинтересованные сообщества могли протестировать обучение модели в более крупном масштабе.

Модель LDM3D была обучена на суперкомпьютере Intel AI на базе процессоров Intel Xeon и ускорителей Intel Habana Gaudi AI. Конечная модель и конвейер объединяют RGB-изображения и карты глубины для создания 360-градусных панорам для создания захватывающих впечатлений.