Adobe анонсировала новый инструмент с искусственным интеллектом (ИИ) под названием Project Music GenAI Control, который генерирует оригинальную музыку на основе текстовых подсказок и предоставляет возможность редактировать аудиозаписи. Система была представлена на саммите Hot Pod в Нью-Йорке и использует те же методы генеративного ИИ, что и популярная система создания изображений Adobe Firefly.

Пользователям достаточно ввести текстовые описания, такие как "бразильский танцевальный ритм" или "мрачное фортепиано", чтобы создать уникальные музыкальные композиции в заданных стилях. Но в отличие от существующих музыкальных инструментов с ИИ, новое предложение Adobe выходит за рамки создания музыки — оно позволяет редактировать музыку. После того как ИИ создаст музыкальный трек, пользователи могут настраивать темп, паттерны, интенсивность и прочее. Фрагменты можно микшировать, расширять или зацикливать, чтобы создать идеальный фоновый звук, музыку с переходами или саундтрек.

Расширенные возможности могут решить серьезную проблему для создателей контента, не имеющих опыта работы с аудиотехникой и нуждающихся в индивидуальной музыке и звуке для своих проектов. Это может изменить рабочие процессы для таких задач, как создание интро и аутро подкастов, бэк-треков для видео и звуковых ландшафтов для игр.

Project Music GenAI Control был разработан в сотрудничестве с ведущими исследователями в области ИИ и использует фреймворк DITTO, сокращение от "Diffusion Inference-Time T-Optimization", позволяющий осуществлять тонкий контроль над моделями ИИ "текст-музыка" без необходимости какого-либо обучения. Метод демонстрирует широкий спектр применений для генерации музыки, включая инпайтинг, аутпайтинг и зацикливание, а также управление интенсивностью, мелодией и музыкальной структурой.

Project Music GenAI Control имеет потенциал революционизировать способ создания и редактирования музыки, делая ее более доступной для создателей контента всех уровней подготовки.