Resemble Enhance — это модель на базе ИИ, предназначенная для преобразования зашумленного звука в четкую и выразительную речь.

Стартап Resemble AI предлагает несколько инструментов ИИ для клонирования, смешивания и локализации голоса, а также функции преобразования текста в речь, речи в речь и дубляжа голоса для различных приложений.

Теперь компания выпустила Resemble Enhance, модель ИИ, которая преобразует шумный звук в чистую речь. В отличие от других моделей компании, Resemble Enhance имеет открытый исходный код.

Технологию Resemble можно применять в таких областях, как подкастинг, индустрия развлечений и восстановление архивных аудиозаписей. Здесь Resemble Enhance является своего рода реставратором звука:

Enhance не только очищает аудио от шумов, но и улучшает его общее качество восприятия. Модель состоит из двух основных компонентов: денойзера и энхансера. Денойзер использует модель UNet для отделения речи от фонового шума. Энхансер использует скрытую модель условного согласования потоков (CFM) для коррекции искажений звука и расширения полосы пропускания аудиосигнала.

На видео ниже показано, как модель улучшает разговор между двумя людьми на оживленной улице:

Команда разработчиков планирует совершенствовать Resemble Enhance, в том числе оптимизировать время обработки и расширить контроль над отдельными элементами речи для дальнейшего улучшения качества звука. В перспективе модель сможет улучшать аудиозаписи, которым более 75 лет.

Resemble предлагает демо-версию Resemble Enhance на HuggingFace. Код доступен на GitHub.