Исследователи Adobe Research и Мичиганского университета создали систему искусственного интеллекта (ИИ), которая генерирует звуки Фоли (Foley) — пользовательские звуковые эффекты, добавляемые в фильмы и видео на этапе постпроизводства.

Система, получившая название MultiFoley, позволяет пользователям создавать звуки с помощью текстовых подсказок, справочного аудио или видеопримеров. В ходе демонстрации система превратила мяуканье кошки в львиный рык и заставила звуки печатной машинки играть как ноты фортепиано, сохраняя при этом точную синхронизацию с видео.

Система отличается способностью генерировать высококачественный звук с частотой 48 кГц. Исследователи добились этого, обучая ИИ как на интернет-видео, так и на профессиональных библиотеках звуковых эффектов.

MultiFoley — первая система, объединившая в одной модели несколько методов ввода — текст, аудио и видео ссылки. Она поддерживает жесткую синхронизацию между видео и генерируемым звуком с помощью специализированного механизма, который анализирует визуальные особенности со скоростью 8 кадров в секунду, а затем масштабирует их в соответствии с частотой дискретизации звука 40 Гц.

Система достигает средней точности синхронизации в 0,8 секунды.

Команда планирует выпустить исходный код модели в ближайшее время. Хотя компания Adobe не объявляла о планах по добавлению MultiFoley в свои продукты, технология будет органично сочетаться с возможностями ИИ, уже присутствующими в программе для редактирования видео Adobe Premiere Pro. Система может быть полезна как отдельным авторам, так и производственным компаниям, стремящимся упростить процесс создания звука.