Исследователи Стэнфордского университета и Google представили Streetscapes, систему искусственного интеллекта (ИИ), способную создавать реалистичные виды улиц целых городов. В частности, система генерирует длинные, непрерывные видеопоследовательности, имитирующие проезд по виртуальному городу. Их также можно экспортировать в 3D-формат через NeRF.

В основе Streetscapes лежат диффузионные модели, которые широко используются при создании изображений и видео. Система была обучена на миллионах реальных видов улиц из Google Street View.

На вход Streetscapes получает карту улиц, карту высот зданий и желаемую траекторию движения камеры по виртуальному городу. На основе этих данных программа шаг за шагом генерирует реалистичные видеопоследовательности. Созданные виды улиц выглядят удивительно реалистично и содержат множество деталей. Свет, тени и атмосферные осадки (снег, дождь) также прорисовываются естественно.

Ключевым компонентом является "Motion Module", который обеспечивает движение и временную согласованность между последовательными изображениями. Кроме того, улучшенная временная согласованность обеспечивается новой техникой "Temporal Imputation", когда каждое новое изображение генерируется с учетом предыдущих.

Это позволяет Streetscapes генерировать более длинные видеопоследовательности по сравнению с альтернативными подходами: до 100 кадров при движении камеры на расстояние более 170 метров. 

Помимо создания видов улиц, Streetscapes позволяет контролировать внешний вид сгенерированного города с помощью текстовых подсказок, например, можно создавать различные времена суток или погодные условия. Также возможно смешение городских планировок и архитектурных стилей — например, система может визуализировать парижские улицы в стиле Нью-Йорка.

Исследовательская группа рассматривает Streetscapes как важный шаг на пути к созданию ИИ-систем, способных реалистично генерировать не только отдельные объекты, но и целые неограниченные сцены. 

Больше примеров можно найти на странице проекта.