Компания Amazon представила Nova Sonic — новую базовую модель, призванную сделать приложения с искусственным интеллектом на основе голоса более естественными, отзывчивыми и экономически эффективными. Компания утверждает, что Nova Sonic конкурирует, а в некоторых случаях и превосходит GPT-4o от OpenAI и Gemini Flash от Google.

Как и другие мультимодальные голосовые модели, Nova Sonic понимает, что и как говорит пользователь, улавливая такие нюансы, как тон, ритм, колебания и даже прерывания. Это позволяет ей отвечать так, чтобы разговор был больше похож на общение с человеком, а не на выполнение команд роботом.

«Когда речь идет о разговоре, слова имеют значение, но без акустического контекста они могут звучать плоско», — объясняет Amazon в своем заявлении. Такой подход позволяет модели адаптировать свои ответы в зависимости от акустического контекста, включая обработку естественных пауз и прерываний — эту функцию Amazon называет «вкраплениями».

В бенчмарке Multilingual LibriSpeech Nova Sonic достигла коэффициента ошибок в словах 4,2% на пяти языках, что, по мнению Amazon, на 36,4% лучше, чем у модели GPT-4o Transcribe от OpenAI. В шумной обстановке с несколькими дикторами, которая обычно ставит в тупик голосовые системы, Amazon утверждает, что относительное улучшение составило 46,7%.

Наконец, компания сообщает о средней воспринимаемой задержке в 1,09 секунды с момента, когда пользователь перестает говорить, до момента, когда Nova Sonic начинает отвечать — немного быстрее, чем 1,18 секунды у OpenAI и 1,41 секунды у Google, согласно бенчмаркингу Artificial Analysis.

Amazon также отмечает, что Nova Sonic «почти на 80% дешевле, чем GPT-4o (Realtime) от OpenAI», что потенциально может дать Amazon конкурентное преимущество, поскольку компании стремятся развернуть эти технологии в масштабе.

В настоящее время Nova Sonic предлагает мужские и женские голоса на английском языке, но Amazon обещает, что в скором времени появятся дополнительные языки и акценты.