В прошлом месяце компания Meta AI представила Audiobox, новую мощную базовую модель для создания пользовательского аудио. Audiobox позволяет пользователям создавать индивидуальные голоса, звуковые эффекты и многое другое с помощью простых текстовых подсказок и голосового ввода.

11 декабря компания запустила новый интерактивный веб-сайт, позволяющий проводить практические эксперименты с Audiobox, и объявила о гранте на исследования, приглашающем к сотрудничеству с внешними партнерами для обеспечения ответственного развития технологии.

Чтобы продемонстрировать универсальность Audiobox, на сайте представлены демо-версии шести различных функций Audiobox, с которыми пользователи могут поиграть:

Your Voice: генерирование речи в стиле любого аудиообразца.

Described Voices: генерирование речи с новыми стилями голоса с использованием текстового описания.

Restyled Voices: изменение стиля любого аудиообразца с помощью текстового описания (сочетание собственного голоса и описанных голосов).

Sound Effects: генерирование звуковых эффектов на основе текстового описания.

Magic Eraser: удаление шумов из записей речи.

Sound Infilling: замена части аудиозаписи новыми звуками.

На сайте также есть очень интересная творческая площадка "Audiobox Maker" для создания собственных аудиоисторий с использованием комбинации возможностей модели. По сути, этот инструмент позволяет создавать многодорожечные аудиофайлы с одним или несколькими голосами дикторов, а также звуковыми эффектами.

Для записи собственного голоса, система генерирует подсказку, которую пользователь должен прочитать в течение 50 с. Можно добавлять звуковые эффекты в свой рассказ, просто описав характеристики звука. Кроме того, можно просматривать и повторно использовать сохраненные голоса, чтобы сохранить единообразие персонажей своей истории.

Вместе с демонстрационным сайтом Meta одновременно объявила о гранте Audiobox Responsible Generation Grant. Эта программа предоставит исследовательским группам финансирование и доступ к Audiobox для проведения исследований в области безопасности, этики и других приоритетных вопросов, связанных с генеративными аудиотехнологиями.