Компания Meta представила SeamlessM4T — модель ИИ, способную напрямую переводить речь на 35 языков и текст на 100 языков. Модель может автоматически распознавать и переводить речь в текст, речь в речь, текст в речь и текст в текст. Переводчик SeamlessM4T предоставляет мгновенный перевод, обеспечивающий эффективное общение между людьми, говорящими на разных языках, без необходимости использования отдельной модели идентификации языка.

В SeamlessM4T Meta объединила в единую модель технологии из своих предыдущих проектов ИИ-перевода No Language Left Behind (NLLB), Universal Speech Translator (одна из немногих систем прямого перевода речи в речь, поддерживающая язык хоккиен) и Massively Multilingual Speech (фреймворк Meta, обеспечивающий распознавание речи, идентификацию языка и синтез речи на более чем 1100 языках). Это позволило сократить количество ошибок и задержек, повысить эффективность и качество процесса перевода.

Meta выпустила SeamlessM4T под лицензией CC BY-NC 4.0 в виде открытого исходного кода на Github, но использовать ее в коммерческих целях нельзя. Компания планирует интегрировать технологию искусственного перевода в свои собственные социальные платформы, включая Facebook, Instagram, WhatsApp, Messenger и Threads.

Несмотря на значительные усилия Meta, другие компании также вкладывают средства в разработку передовых инструментов перевода и транскрибации с использованием ИИ. Такие компании, как Amazon, Microsoft, OpenAI, а также различные стартапы уже предлагают коммерческие услуги и модели с открытым исходным кодом.

Компания Google также работает над созданием универсальной речевой модели, направленной на понимание наиболее распространенных в мире языков, а инициатива Mozilla Common Voice нацелена на создание разнообразной коллекции голосов для обучения алгоритмов автоматического распознавания речи. Среди этих начинаний выделяется SeamlessM4T, так как в ней объединены возможности перевода и транскрибации в рамках единой модели.

В дополнение к модели Meta выпустила набор данных SeamlessAlign, который был составлен командой для обучения SeamlessM4T. Meta утверждает, что это самый большой открытый набор данных для мультимодального перевода, содержащий 470 000 часов материала для 37 языков. Расширение до 100 языков — тема для будущего развития. Это будет следующим шагом на пути к созданию универсального переводчика.