Команда Meta по фундаментальным исследованиям искусственного интеллекта (FAIR) объявила о выпуске четырех новых ИИ-моделей с упором на поощрение открытых инноваций и ответственное развитие в сообществе ИИ.

Meta Chameleon — это универсальная мультимодальная система ИИ, которая может обрабатывать одновременно текст и изображения. Благодаря языковым моделям 7B и 34B Chameleon выходит за рамки традиционных унимодальных результатов, принимая смешанные модальные входные данные и предоставляя выходные данные только в виде текста. Это означает, что он может решать такие задачи, как создание подписей к изображениям, и даже генерировать совершенно новые сцены из смеси текстовых и графических подсказок.

Meta Multi-Token Prediction использует другой подход к обучению больших языковых моделей. Вместо того чтобы предсказывать следующее слово, он предсказывает несколько будущих слов одновременно, повышая эффективность и скорость. Этот метод, доступный для задач по завершению кода, как утверждается, в три раза быстрее, чем традиционные методы, и требует гораздо меньше данных для достижения того же уровня беглости. Получить модели можно здесь.

Meta JASCO (Joint Audio and Symbolic Conditioning) — это модель генерации музыки из текста в текст, которая принимает различные аудиоданные, такие как аккорды и биты, для генерации AI-музыки. Пользователи могут настраивать такие параметры, как музыкальные инструменты, мелодии и стиль, с помощью текста, что дает им больше контроля над конечным звучанием. Исследовательская статья и аудиопримеры доступны уже сегодня, а код выводов и предварительно обученная модель — в ближайшее время.

Meta AudioSeal — это технология нанесения водяных знаков на аудио, предназначенная для обнаружения сгенерированной ИИ речи в длинных аудиофрагментах. Она точно определяет фрагменты, созданные ИИ, что делает ее ценным инструментом для идентификации контента. AudioSeal работает в 485 раз быстрее, чем традиционные методы обнаружения, и будет выпущена под коммерческой лицензией.

Meta также решает сложный вопрос разнообразия в ИИ. Они разработали инструменты для измерения и улучшения того, насколько хорошо модели преобразования текста в изображение отражают различные географические и культурные перспективы. Это шаг к тому, чтобы ИИ "представлял" мир, а не только его узкую часть.

Стоит отметить, что Meta выпускает эти модели под разными лицензиями: одни — только для исследований, другие — для коммерческого использования.