Исследователи из Google и Университета Осаки нашли способ воссоздания музыки по активности головного мозга (ГМ) с помощью функциональной магнитно-резонансной томографии (фМРТ).

Модель ИИ под названием Brain2Music способна считывать и анализировать данные фМРТ, автоматически генерируя музыкальные произведения на основе активности ГМ.

В исследовании Google участвовали пять добровольцев, которые слушали 15-секундные музыкальные треки различных жанров, таких как блюз, классика, кантри, диско, хип-хоп, джаз, металл, поп, регги и рок, а затем проходили фМРТ-исследования ГМ.

Полученные данные Google использовала для обучения глубокой нейронной сети, позволяющей понять взаимосвязь между паттернами активности мозга и различными элементами музыки, такими как ритм и эмоции. В результате Brain2Music извлекает из сканов фМРТ существующую музыку либо с помощью MusicLM, модели генерации музыки, создает новую музыкальную композицию на основе паттернов активности мозга. Созданная музыка соответствует семантическим характеристикам исходных стимулов.

Результаты исследования показали, что один из 15-секундных музыкальных клипов, сгенерированных Brain2Music, — "Oops! ...I Did It Again" Бритни Спирс практически идентичен оригинальной музыке, звучавшей в тесте.

Возможно, в будущем модель Brain2Music послужит толчком для воплощения в жизнь человеческих фантазий, мыслей, например, приведет к созданию голограмм на основе человеческого воображения.