Исследователи Google разработали ReCapture — новую технику искусственного интеллекта (ИИ), которая позволяет пользователям изменять движения камеры в видео после его записи. Система призвана открыть перед обычными пользователями возможности редактирования видео профессионального уровня.
Изменение ракурсов камеры в уже отснятом материале традиционно было сложной задачей. Существующие методы часто не позволяют сохранить сложные движения и детали при обработке различных типов видеоконтента.
Вместо того чтобы использовать явное 4D-представление в качестве промежуточного шага, ReCapture использует знания о движении, хранящиеся в генеративных видеомоделях. Исследователи переформулировали задачу как перевод видео в видео с помощью Stable Video Diffusion.
На сайте проекта и в научной статье приводятся дополнительные технические подробности, включая методы постобработки, такие как SDEdit, для улучшения качества изображения и уменьшения размытости.
