Компания CNTXT AI из ОАЭ представила Munsit — модель распознавания арабской речи нового поколения, которая является самой точной из когда-либо созданных для арабского языка и превосходит показатели таких гигантов, как OpenAI, Meta, Microsoft и ElevenLabs. Разработанная в ОАЭ, Munsit представляет собой значительный шаг вперед в создании «суверенного ИИ» — технологии, созданной в регионе для региона, но обладающей глобальной конкурентоспособностью.

Подробнее о Munsit можно узнать из работы команды «Продвижение распознавания арабской речи с помощью крупномасштабного слабоконтролируемого обучения». В ней представлен метод, позволяющий решить проблему нехватки маркированных данных арабской речи. Этот метод, слабо контролируемое обучение, позволил создать систему, установившую новую планку качества транскрипции как современного стандартного арабского языка (MSA), так и более 25 региональных диалектов.

Арабский язык, несмотря на свою распространенность, долгое время считался сложным для распознавания речи из-за морфологической сложности и нехватки маркированных данных. В основе Munsit лежит модель Conformer — гибридная нейросетевая архитектура, сочетающая преимущества конволюционных слоев и трансформаторов. Это позволяет эффективно справляться с нюансами разговорного языка, учитывая как дальние зависимости, так и тонкие фонетические детали.

Обучение модели проводилось на высокопроизводительном кластере с использованием восьми графических процессоров NVIDIA A100. Для токенизации использовался SentencePiece.

Munsit был протестирован на шести эталонных наборах данных арабского языка и показал средний коэффициент ошибок в словах (WER) 26,68 и коэффициент ошибок в символах (CER) 10,05, превзойдя таких конкурентов, как Whisper от OpenAI и SeamlessM4T от Meta. Munsit также продемонстрировал высокую устойчивость в условиях шума, что критично для реальных приложений, таких как колл-центры и государственные службы.

CNTXT AI планирует развивать Munsit, создавая полный набор голосовых технологий на арабском языке, включая преобразование текста в речь, голосовые помощники и системы перевода в реальном времени.