Компания Luma AI, специализирующаяся на разработке графики с использованием ИИ, представила новую впечатляющую функцию: 3D-пролеты, созданные на основе 2D-видео и напоминающие полеты профессиональных дронов.

Сначала приложение генерирует 3D-среду на основе обычного видео. По словам представителей Luma AI, для этого используется "самая передовая в мире генеративная технология 3D NeRF". Нейронные поля сияния (NeRF) — это трехмерные нейронные представления сцен или объектов, снятых в 2D. Они могут быть сгенерированы за несколько секунд или минут без какой-либо специальной подготовки данных.

Функция преобразования видео в трехмерное изображение не нова: компания Luma демонстрировала ее еще в марте. Новым является опция "3D Camera Path AI", которая позволяет пользователям свободно перемещаться по 3D-модели, подобно полету дрона. Виртуальная траектория полета просто задается в приложении. Luma AI пока не раскрывает никаких технических подробностей, касающихся 3D Camera Path AI.

Подобные виртуальные полеты дронов уже были возможны, но для этого приходилось переходить в режим AR и перемещать смартфон по сцене или задавать ключевые кадры в более объемном по функционалу редакторе.

Теперь Luma AI упростила функцию полета в новом приложении для iPhone под названием "Luma Flythroughs", которое компания продвигает, в первую очередь, для сферы недвижимости, так как приложение может заменить дорогостоящую профессиональную съемку интерьера при ее продаже.

Чем выше качество исходного материала, тем более детальной и безупречной будет 3D-сцена. По мнению Luma, для этого достаточно обычного видеоматериала, снятого при хорошем освещении. Для создания высококачественного пролетного видео не требуется применения специальных инструментов, таких как стабилизаторы.