Компания Google Deepmind представила генеративную модель искусственного интеллекта (ИИ), которая генерирует аудио для видео (Video-to-Audio, V2A). Технология V2A объединяет видеопиксели с инструкциями на естественном языке для создания подробных звуковых дорожек для немого видео.

V2A можно использовать в сочетании с моделями генерации видео, такими как Veo от Deepmind или конкурирующими моделями, такими как Sora, KLING или Gen 3, для добавления драматической музыки, реалистичных звуковых эффектов или диалогов, соответствующих персонажам и настроению видео. Технология может быть использована и для добавления звука к традиционным материалам, таким как архивные и немые фильмы. Ее сила заключается в возможности создания неограниченного количества саундтреков для каждого видеовхода.

Для создания реалистичного звука в V2A используется подход, основанный на диффузии. Система кодирует входное видео в сжатое представление, затем итеративно очищает аудио от случайного шума, руководствуясь визуальными эффектами и дополнительными текстовыми подсказками. Наконец, аудиовыход декодируется, преобразуется в звуковую форму и объединяется с видеоданными.

Чтобы улучшить качество звука и сделать его более специфичным, DeepMind обучила модель на дополнительных данных, таких как созданные ИИ описания звуков и транскрипции разговорного диалога. Таким образом, V2A учится ассоциировать определенные звуковые события с различными визуальными сценами и реагировать на информацию, содержащуюся в описаниях или расшифровках.

По словам Google, отличительной чертой V2A является способность понимать необработанные пиксели видео. Он также устраняет утомительный процесс ручного согласования генерируемых звуков с визуальным рядом. Интеграция с такими моделями генерации видео, как Veo, создает целостный аудиовизуальный эффект, что делает его идеальным для приложений в сфере развлечений и виртуальной реальности.

V2A пока недоступна — Deepmind собирает отзывы ведущих креативщиков и режиссеров, чтобы доработать и улучшить V2A.