Adobe Research и Северо-Западный университет разработали Sketch2Sound, систему искусственного интеллекта (ИИ), которая превращает вокальные имитации и текстовые описания в профессиональные звуковые эффекты и атмосферу.

Система анализирует три ключевых элемента вокала: громкость, тембр (определяющий, насколько звук яркий или темный) и высоту тона. Затем она комбинирует эти характеристики с текстовыми описаниями для создания желаемых звуков.

Что делает Sketch2Sound интересным, так это то, как он понимает контекст. Например, если кто-то вводит «атмосферу леса» и издает короткие вокальные звуки, система автоматически распознает, что это должны быть птичьи крики — без особых инструкций.

Тот же подход применяется и к музыке. При создании барабанных паттернов пользователь может ввести «bass drum, snare drum» и напевать ритм, используя низкие и высокие ноты. Система автоматически разместит бас-барабаны на низких нотах, а малые барабаны — на высоких.

Исследовательская группа встроила специальную технологию фильтрации, которая позволяет пользователям регулировать точность управления генерируемыми звуками. Звукорежиссеры могут выбирать между точным, детальным контролем и более спокойным, приблизительным подходом в зависимости от своих потребностей.

Такая гибкость может сделать Sketch2Sound особенно ценным для художников Foley — профессионалов, создающих звуковые эффекты для фильмов и телепередач. Вместо того чтобы манипулировать физическими объектами для создания звуков, они могут быстрее создавать эффекты с помощью голосовых и текстовых описаний.

На данный момент Adobe не сообщает, когда Sketch2Sound станет коммерческим продуктом.