Исследовательская группа из Meta разработала ИИ-модель, способную напрямую переводить речь с одного языка на другой. Модель, получившая название SEAMLESSM4T, устраняет недостатки существующих систем машинного перевода, которые обычно опираются на многоступенчатые процессы, такие как распознавание речи, перевод текста и преобразование текста в речь.

SEAMLESSM4T осуществляет прямой перевод на 101 язык, что в перспективе открывает путь к более быстрому и эффективному многоязычному общению. Согласно исследованию, опубликованному в журнале Nature, модель может: 

— переводить речь с 101 языка на 36 целевых языков; 

— переводить речь в текст со 101 языка на 96; 

— переводить текст в речь с 96 языков на 36; 

— переводить текст в текст на 96 языках; 

— автоматически распознавать речь на 96 языках.

SEAMLESSM4T имеет открытый исходный код, что позволяет другим исследователям использовать и совершенствовать её возможности. Модель демонстрирует на 23% более высокую точность перевода текста по сравнению с ведущими существующими системами.

В то время как Google AudioPaLM может работать со 113 языками, она переводит только на английский, тогда как SEAMLESSM4T может переводить на 36 различных языков.

Тем не менее, модель не лишена определённых недостатков, таких как: 

— ограниченная поддержка некоторых языков и трудности перевода разговоров в шумной обстановке или с дикторами, имеющими сильный акцент — области, в которых человеческие переводчики превосходят машины; 

— система на текущий момент не способна переводить в режиме реального времени, хотя компания Meta утверждает, что разработала новую версию, соответствующую скорости работы человеческого переводчика;

 — доступность обучающих данных для разных языков существенно различается, что сказывается на качестве перевода.