Исследователи из Nvidia, Университета Торонто и Векторный институт представляют Adaptive Shells — метод, позволяющий вывести NeRF на новый уровень.

Нейронные поля сияния (Neural Radiance Fields, NeRFs) позволяют добиться впечатляющего качества изображения в 3D-графике, но в традиционном виде они требуют больших вычислительных затрат, поскольку для создания изображений высокого разрешения необходимо большое количество выборок. При объемном рендеринге вдоль каждого луча отбирается несколько точек данных, что позволяет получить подробную информацию о цвете и прозрачности точки в пространстве. Особенно сложные и нерегулярные структуры, такие как листья или волосы, выигрывают от такого объемного представления и могут быть реалистично отображены. Однако многие сцены состоят в основном из твердых поверхностей, которые теоретически могут быть отображены с гораздо меньшими усилиями.

Adaptive Shells Nvidia опираются на эту идею и просчитывают только определенные части сцены с высокой детализацией, в то время как другие части рендерятся с меньшей детализацией. В частности, Adaptive Shells переключается между объемным рендерингом (для сложных структур) и поверхностным рендерингом (для твердых поверхностей) в зависимости от содержимого и использует аппаратно ускоренную трассировку лучей для сбора необходимой информации.

По словам исследователей, этот метод позволяет рендерить изображения гораздо быстрее, чем альтернативные методы, такие как Instant NGP от Nvidia, и со значительно лучшим качеством изображения. На примерах Nvidia показывает, что Adaptive Shells иногда рендерит в два раза больше кадров в секунду и достигает от 40 до 300 кадров в секунду в 1080p, в зависимости от сложности сцены. Кроме того, даже сложные сцены в разрешении 4K с DLSS позволяют достичь более 60 кадров в секунду.

Команда также показала, что Adaptive Shells способен с высокой степенью детализации визуализировать как отдельные объекты из "нечетких" материалов, таких как мех или шерсть, так и целые 3D-сцены, например, стол в саду. Метод также напрямую строит явную сетку внешней оболочки, которая содержит все области пространства, вносящие вклад в визуализацию. Таким образом, полученные представления могут быть использованы для дальнейших приложений, таких как анимация или физическое моделирование.

Adaptive Shells — это еще один шаг на пути к трансформации компьютерной графики, в которой нейронные методы рендеринга будут играть все более важную роль.

Дополнительную информацию можно найти на странице проекта Adaptive Shells.