В новой работе исследователей из Наньянского технологического университета в Сингапуре представлен революционный подход к масштабированию видео с использованием искусственного интеллекта (ИИ). Метод, получивший название Upscale-A-Video, устанавливает новую планку для улучшения качества и реалистичности видео реального мира.

В основе Upscale-A-Video лежит гениальная система скрытой диффузии с текстовым управлением, адаптированная к уникальным требованиям обработки видео. Она решает одну из самых сложных задач в этой области — сохранение достоверности и временной согласованности в условиях присущей диффузионным моделям случайности.

Пользователи могут использовать текстовые подсказки для создания реалистичных деталей и текстур, соответствующих видеоконтенту. Кроме того, фреймворк позволяет регулировать уровень шума во время диффузии, чтобы балансировать между восстановлением и генерацией по мере необходимости. Этот баланс является ключевым для достижения желаемого компромисса между реалистичностью и качеством масштабируемого видео.

Upscale-A-Video превосходит существующие методы как в синтетических, так и в реальных бенчмарках, а также в видео, созданных ИИ. Эти результаты подчеркивают его превосходство в обеспечении впечатляющего визуального реализма и сохранении временной согласованности.

С практической точки зрения, Upscale-A-Video может стать отличным инструментом для любительского и профессионального монтажа видео.