Французская компания Mistral AI объявила о выпуске двух новых языковых моделей, предназначенных для использования на периферийных устройствах (смартфоны, ноутбуки) и в сценариях периферийных вычислений.
Новые модели, получившие названия Ministral 3B и Ministral 8B, входят в семейство Ministraux. По словам представителей Mistral, на данный момент это самые мощные системы искусственного интеллекта в своем классе для использования на пограничных устройствах. Обе модели поддерживают контекст длиной до 128 000 токенов.
Модели Ministraux разработаны для тех случаев, когда важна локальная обработка данных и конфиденциальность. Mistral утверждает, что они хорошо подходят для таких задач, как перевод на устройстве, автономные интеллектуальные помощники, локальный анализ данных и автономная робототехника.
В сочетании с более крупными языковыми моделями, такими как Mistral Large, Ministraux могут также выступать в качестве эффективных посредников для вызова функций в многоэтапных рабочих процессах.
Бенчмарки, предоставленные Mistral, показывают, что Ministral 3B и 8B превосходят сопоставимые модели, такие как Gemma 2 2B от Google и Llama 3.1 8B от Meta, в большинстве категорий. Компания особо отмечает производительность меньшей модели Ministral 3B, которая превосходит своего более крупного предшественника, Mistral 7B, по некоторым показателям. Mistral 7B считается одной из самых успешных моделей с открытым исходным кодом.
Более крупная модель Ministral 8B явно превосходит модель 7B во всех бенчмарках. Mistral AI сообщает, что Ministral 8B особенно преуспела в таких областях, как знания, здравый смысл, вызов функций и многоязычные возможности. Она не стала сравнивать ее с более новой моделью Llama 3.2 11B, которая, вероятно, немного лучше (73 в MMLU), но находится за пределами класса с 10 млрд параметров.
Новые модели доступны уже сейчас. Mistral AI предлагает Ministral 8B через API по цене $0,10 за миллион токенов, а Ministral 3B стоит $0,04 за миллион токенов. Для локального использования доступны коммерческие лицензии.
Для исследовательских целей Mistral AI предоставляет весовые коэффициенты моделей для Ministral 8B Instruct. По словам компании, обе модели скоро будут доступны через облачных партнеров, таких как Google Vertex и AWS.
