Ученые лаборатории искусственного интеллекта Сбербанка, Института AIRI и МФТИ представили ИИ-модель Cross-Attention Feature Fusion for Speech Emotion Recognition (CA-SER) для распознавания эмоций в человеческой речи.
CA-SER объединяет самообучение (Self-Supervised Learning) с использованием предобученной модели wav2vec 2.0 и спектральных акустических признаков, таких как мел-кепстральные коэффициенты (MFCC). Система сначала детектирует важные характеристики речи, а затем добавляет данные о звуках голоса, такие как громкость и тональность. Эти два типа информации объединяются через механизм перекрёстного внимания, что позволяет точнее определять эмоции говорящего.
Инструмент можно использовать в голосовых чат-ботах, колл-центрах, приложениях для мониторинга психологического здоровья и других областях, где требуется анализ эмоций в режиме реального времени. Исходный код модели доступен в open source, что позволяет исследователям использовать её для дальнейших экспериментов и адаптации к другим языкам и датасетам.
