Система EmerNeRF изучает 3D-представления реального мира, помогая роботам и автономным автомобилям лучше ориентироваться в окружающем мире.

Исследователи из Университета Южной Калифорнии, Технологического института Джорджии, Университета Торонто, Стэнфордского университета, Техниона и компании Nvidia разработали EmerNeRF. ИИ-модель может использовать видеозаписи для самостоятельного распознавания того, какие участки дорожной сцены являются динамичными, а какие — статичными.

Для беспилотных автомобилей и других роботов, перемещающихся в реальном мире, очень важно распознавать, какие элементы окружения являются статичными, а какие — динамичными. Только так они могут ориентироваться в окружающем мире и безопасно взаимодействовать с ним. Например, при автономном вождении транспортные сцены делятся на статические и динамические объекты, такие как другие автомобили. Однако сегодня этот процесс обычно требует человеческого контроля, что дорого и сложно для масштабирования.

EmerNeRF, напротив, обучается классификации самостоятельно на основе изображений с камер и LiDAR. Для EmerNeRF исследователи использовали одноименные поля нейронного излучения: одно для статических, другое для динамических представлений. Программа оптимизирует эти поля таким образом, чтобы реплики сцен выглядели как можно более реалистично — без какой-либо информации о том, какие объекты статичны, а какие движутся.

Для лучшего представления движущихся объектов EmerNeRF также рассчитывает поле потока, которое показывает, как объекты перемещаются во времени. Эта информация о движении позволяет комбинировать данные из нескольких точек во времени для более детальной визуализации движущихся объектов.

В результате обучения EmerNeRF смог напрямую разделять динамические сцены, например видеозаписи поездок на автомобиле без меток, на статичные и движущиеся элементы. Команда также дополнила EmerNeRF частями базовой модели для 2D-изображений, что позволило повысить эффективность распознавания объектов в 3D-среде в среднем почти на 38%.

В бенчмарке со 120 сценами вождения EmerNeRF превзошел предыдущие передовые методы, такие как HyperNeRF и D2NeRF.

Дополнительная информация, видеоролики и код доступны на GitHub.