В честь 10-летия Лаборатории искусственного интеллекта Meta, компания представила три новых исследовательских проекта: Ego-Exo4D, Seamless Communication и Audiobox.
Audiobox
Audiobox — это новая модель генерации звука в Meta. Она способна генерировать голоса и звуковые эффекты с помощью комбинации голосового ввода и текстовых подсказок на естественном языке, что упрощает создание пользовательских аудиофайлов для различных сценариев использования.
По сравнению со своим прямым предшественником, Voicebox, Audiobox предлагает улучшенную управляемость и качество аудио. Модель превосходит предыдущие системы в оценке генерации голосов и звуков, которые точно соответствуют желаемым стилям и окружению, описанным в текстовых подсказках.
Отличительной особенностью Audiobox является возможность принимать в качестве входных данных как голосовые записи, так и текст на естественном языке. Такой механизм двойного ввода позволяет более детально контролировать генерируемое аудио.
Например, пользователи могут ввести образец голоса, а затем добавить текстовую подсказку типа "медленно говорит в большой пещере", чтобы заставить этот голос принять новую каденцию или обстановку. При этом голос сохраняет отчетливый вокальный тембр, а текст изменяет другие параметры.
Компания Meta разработала Audiobox, чтобы сделать производство аудио более доступным для подкастов, видео, игр и многого другого. Пользователи без опыта и профессионалы могут легко генерировать качественные аудиоэлементы для своих медиапроектов.
Seamless Communications
Seamless Communications — новое семейство моделей языкового перевода на основе ИИ, призванное обеспечить более естественное общение в режиме реального времени на разных языках. Набор состоит из четырех моделей, нацеленных на улучшение экспрессии, перевода в реальном времени и общего качества перевода.
SeamlessExpressive: Модель, направленная на сохранение выразительности и тонкостей речи на разных языках. SeamlessExpressive сохраняет нюансы речи, такие как тон, темп, акцент и эмоции, при переводе с одного языка на другой.
SeamlessStreaming: Модель, способная обеспечить перевод речи и текста с задержкой около двух секунд. Эта модель поддерживает широкий спектр языков: автоматическое распознавание речи на почти 100 языках и перевод с речи на речь на 36 языках.
SeamlessM4T v2: Основополагающая многоязычная и многозадачная модель, позволяющая людям без усилий общаться с помощью речи и текста. Модель обрабатывает речь в текст, текст в речь, перевод речи в речь и другие модальности для почти 100 языков с высоким качеством.
Seamless: Модель, объединяющая возможности SeamlessExpressive, SeamlessStreaming и SeamlessM4T v2.
Набор моделей Meta — это значительный шаг к реализации будущего, в котором языковые различия перестанут быть барьерами. По мере того как компания продолжает совершенствовать эти модели, мечта об "универсальном переводчике", позволяющем вести беспрепятственный межкультурный диалог, становится все ближе к реальности.
Ego-Exo4D
Ego-Exo4D — это набор данных для поддержки исследований ИИ в области видеообучения и мультимодального восприятия. В сборе данных для проекта Ego-Exo4D в течение двух лет участвовали Metas FAIR, Project Aria и 15 университетов-партнеров со всего мира. Проект собирал как "эгоцентрические" виды с камеры участника, носящего гарнитуру Project Aria, так и "экзоцентрические" виды с окружающих камер.
Ego-Exo4D собирает экспертный анализ деятельности, например, как игрок играет в баскетбол, в результате чего получаются данные, состоящие не только из игровых наблюдений за тем, как игрок выполняет трехочковый бросок, но и как он может улучшить положение своего тела, чтобы стабильно выполнять трехочковые броски.
Ego-Exo4D — это не просто сбор данных, это изменение того, как ИИ понимает, воспринимает и учится. Уникальность подхода Ego-Exo4D заключается в мультимодальном сочетании опыта от первого лица с точки зрения "я" и "я" с обратной связью и мнениями квалифицированных экспертов. Проект сосредоточен на квалифицированных видах человеческой деятельности, включая спорт, музыку, танцы и многое другое, от более чем 800 уникальных участников из 13 городов по всему миру. Это имеет множество интересных применений — от персонализированного ИИ-коучинга до оценки навыков.
