Исследователи из Лондонского университета королевы Марии, Sony AI и MBZUAI's Music X Lab разработали систему искусственного интеллекта (ИИ) под названием Instruct-MusicGen, которая может изменять существующую музыку на основе текстовых подсказок.

Instruct-MusicGen основана на модели ИИ MusicGen с открытым исходным кодом Meta, которую команда улучшила для задач редактирования текста в музыку. Исследователи изменили оригинальную архитектуру MusicGen, добавив модули слияния текста и аудио, что позволило модели одновременно обрабатывать текстовые подсказки и аудиоданные.

Добавленные модули слияния аудио и текста позволяют выполнять точные задачи редактирования, такие как добавление, удаление или разделение музыкальных дорожек, известных как стемы. 

Исследователи отмечают, что Instruct-MusicGen повышает эффективность обработки текста в музыку и расширяет возможности использования языковых моделей для музыки в производственных средах.

Для достижения хороших результатов новой модели требуется всего на 8 % больше параметров и 5 000 дополнительных шагов обучения, что составляет менее 1 % от общего времени обучения MusicGen. Разработчики предоставляют многочисленные примеры, код, модель и весовые коэффициенты на странице проекта.

Sony спокойна за лицензирование, поскольку Meta утверждает, что MusicGen обучался только на лицензионной музыке, а для настройки инструкций исследовательская группа использовала набор синтетически сгенерированных музыкальных произведений Slakh210.