Инженеры Yandex Cloud создали нейросеть, способную распознавать эмоции человека по голосу в режиме реального времени. Эта модель искусственного интеллекта основана на технологии распознавания речи Yandex SpeechKit и может определять негатив, неформальные высказывания, нецензурную лексику, пол спикера и его фразы в диалоге.

Компании могут использовать эту нейросеть для создания голосовых помощников и виртуальных операторов колл-центров, способных понимать человеческие эмоции. Это позволит улучшить анализ телефонных разговоров, адаптировать работу колл-центров под каждого клиента и быстро реагировать на непредвиденные ситуации. Кроме того, нейросеть может передавать информацию о негативном общении абонента с голосовым помощником во внутреннюю систему заказчика, который автоматически переключит его на сотрудника колл-центра. 

Нейросеть определяет эмоции не только по содержанию речи, но и по голосу: по скорости речи, высоте, тембру и другим параметрам. Разработка поддерживает технологию speaker labeling, которая отмечает, кому принадлежит та или иная реплика. Это позволяет работать с одноканальными звуковыми дорожками и расширяет возможности оффлайн-аналитики.

В будущем нейросеть будет работать в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких нейросетей позволит распознавать более сложные эмоции спикера, например, неуверенность или сарказм, и оценить, насколько оператор погрузился в проблему клиента и пытался помочь решить ее.