Google Deepmind представил Lyria — модель искусственного интеллекта (ИИ) для генерации музыки, призванную улучшить творческий процесс музыкантов и художников.

В сотрудничестве с YouTube компания Google Deepmind запустила два эксперимента по созданию ИИ для музыки: Dream Track — эксперимент по созданию короткометражных фильмов на YouTube, и Music AI Tools — набор инструментов для артистов, авторов и продюсеров.

Модель Lyria предназначена для создания высококачественной музыки с инструментальным сопровождением и вокалом. По данным Google Deepmind, Lyria поддерживает множество жанров — от хэви-метала до техно и оперы.

В рамках проекта Dream Track компания Google Deepmind тестирует Lyria совместно с YouTube. Цель эксперимента — изучить новые способы создания музыки. Пользователи вводят тему и стиль в интерфейс модели, выбирают исполнителя из карусели и создают 30-секундный саундтрек для короткометражного ролика на YouTube.

Модель Lyria генерирует текст, фоновую музыку и голос, созданный ИИ, в стиле выбранного исполнителя. Среди исполнителей — Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan и Papoose.

Исследователи Google Deepmind также работают с артистами, авторами песен и продюсерами из YouTube Music AI Incubator, изучая возможности генеративного ИИ в творческом процессе.

Совместно они разрабатывают ряд инструментов ИИ для музыки, которые могут преобразовывать звук из одного музыкального стиля или инструмента в другой, создавать инструментальные и вокальные аккомпанементы, а также генерировать новую музыку или инструментальные фрагменты с нуля. Эти инструменты призваны облегчить исполнителям воплощение своих идей в музыке, например, создание гитарных рифов из гулов.

Весь контент, созданный с помощью Lyria, маркируется с помощью SynthID — того же технологического инструментария, который используется для идентификации изображений, созданных ИИ Imagen на Google Cloud's Vertex AI. Водяной знак виден машинам, но не людям. Аналогичным образом SynthID наносит водяные знаки на аудиозаписи, созданные ИИ. Водяной знак не влияет на восприятие звука и неслышим для человеческого уха.

Несколько дней назад YouTube опубликовал новые правила работы с аудиовизуальным контентом, созданным ИИ, на своей платформе. Среди прочего, видеоплатформа уделяет повышенное внимание требованиям к маркировке и хочет, чтобы контент, созданный ИИ, идентифицировался как человеком, так и ИИ.