Компания OpenAI представила набор новых аудиомоделей, предназначенных для создания более естественных и отзывчивых голосовых агентов. По словам создателя ChatGPT, это важный шаг к переходу ИИ от текстового взаимодействия к более интуитивному разговорному.

В основе релиза лежат две новые модели преобразования речи в текст: GPT-4o-transcribe и GPT-4o-mini-transcribe. Обе модели предназначены для преобразования устной речи в текст с более высокой точностью, чем предыдущие модели OpenAI Whisper, достигая более низких коэффициентов ошибок в словах (WER) на различных языках.

Улучшения особенно заметны в сложных сценариях, таких как понимание различных акцентов, фильтрация фонового шума и обработка различных скоростей речи — давние проблемы в технологии транскрипции аудио.

В многоязычном речевом бенчмарке FLEURS, который проверяет точность транскрипции на более чем 100 языках, обе новые модели опережают не только предыдущие предложения OpenAI Whisper, но и конкурирующие решения других компаний.

Особое внимание разработчиков привлекает новая модель преобразования текста в речь GPT-4o-mini-tts, в которой появилась возможность «управляемости» — инструктировать модель не только о том, что говорить, но и о том, как это делать.

Во время демонстрации в прямом эфире инженер OpenAI Ярослав Твердоклиб показал, как разработчики могут давать инструкции вроде «говорить как сумасшедший ученый: с высокой энергией, хаотично», чтобы кардинально изменить стиль подачи одного и того же текста. Компания запустила openai.fm в качестве интерактивного демо-сайта, где разработчики могут экспериментировать с этими голосовыми вариациями.

Структура цен делает эти возможности относительно доступными: GPT-4o-transcribe стоит около 0,6 цента за минуту, GPT-4o-mini-transcribe — 0,3 цента за минуту, а GPT-4o-mini-tts — 1,5 цента за минуту, что дешевле, чем предыдущие предложения, несмотря на повышение производительности.

Для разработчиков, которые уже создали текстовые ИИ-агенты, OpenAI сделала переход на голосовую речь удивительно простым. Обновление Agents SDK недельной давности позволяет разработчикам преобразовывать существующие текстовые агенты в голосовые с минимальными изменениями кода.

Во время демонстрации OpenAI показала, как всего девять строк дополнительного кода могут превратить текстового агента поддержки клиентов в агента, который обрабатывает голосовые запросы и отвечает естественной речью. Обновленный SDK выполняет сложный цикл преобразования речи в текст, обработки его с помощью языковой модели и преобразования ответа обратно в речь.

Среди технических инноваций, лежащих в основе этих моделей, — предварительное обучение с использованием специализированных наборов аудиоданных, передовые методы дистилляции для передачи знаний из больших моделей в меньшие, а также обучение с подкреплением для повышения точности транскрипции.

Голосовые технологии уже давно обещают сделать взаимодействие человека и компьютера более естественным, но часто оказываются неэффективными из-за ошибок в транскрипции и роботизированного звучания ответов. Если новые модели OpenAI оправдают ожидания, они помогут устранить этот пробел, что в перспективе изменит наше взаимодействие с любыми системами — от систем обслуживания клиентов до приложений для изучения языка.

Новые аудиомодели доступны через API OpenAI.