Исследователи из Meta выложили в открытый доступ MAGNeT (Masked Audio Generation using Non-autoregressive Transformers) — новую модель искусственного интеллекта, способную генерировать из текста музыку студийного качества со скоростью, в 7 раз превышающей скорость современных моделей.

По словам Meta, MAGNeT была обучена на 16 000 часов лицензионной музыки. В частности, использовалась внутренняя база данных из 10 000 высококачественных музыкальных треков в дополнение к музыкальным данным ShutterStock и Pond5.

В отличие от ведущих моделей, использующих либо медленное авторегрессионное декодирование, последовательно генерирующее аудиосигналы, либо архитектуры на основе диффузии, требующие более длительных процедур выборки, MAGNeT использует параллельное масочное прогнозирующее кодирование. Это позволяет модели генерировать 30-секундные музыкальные композиции и звуковые ландшафты за доли секунды, причем по качеству они не уступают таким моделям как Jukebox и MuseNet. 

Хорошее качество музыкальных композиций на выходе и высокая скорость создания музыки открывает возможности для различных медиапроектов и творческого исследования разнообразных звуковых ландшафтов. MAGNeT может заложить основу для таких приложений, как интерактивное создание музыки, требующих синтеза звука в реальном времени.

Meta открыла MAGNeT как часть AudioCraft, своей единой кодовой базы для всех генеративных аудиорешений.