Компания Meta объявила о выпуске Llama 3.2, куда вошли вошли четыре новые модели. Две небольшие модели, с параметрами 1B и 3B (1 и 3 млрд параметров), предназначены для мобильных устройств, а более крупные модели с параметрами 11B и 90B (11 и 90 млрд параметров) расширяют экосистему Llama за счет возможностей технического зрения.
Модели 1B и 3B представляют собой большой шаг вперед для ИИ на устройствах. Поддерживая контекст длиной 12 тыс. токенов, эти модели отлично справляются с такими задачами, как обобщение, следование инструкциям и переписывание текста — и все это при локальной работе на устройствах. Meta утверждает, что эти модели достигают самой высокой производительности для своего класса.
Важно отметить, что модели-малышки запускаются с поддержкой аппаратного обеспечения от Qualcomm и MediaTek, а также с оптимизацией для процессоров Arm. Такая широкая совместимость должна ускорить внедрение в широкий спектр мобильных и IoT-устройств.
Модели зрения 11B и 90B — это первый опыт Llama в области мультимодального ИИ. Эти модели могут понимать изображения и рассуждать о них, что позволяет решать такие задачи, как анализ документов, создание подписей к изображениям и визуальные ответы на вопросы. По данным Meta, их производительность конкурирует с ведущими моделями с закрытым исходным кодом в тестах на распознавание изображений и визуальное понимание.
Модели Llama 3.2 доступны для загрузки на официальном сайте Llama и на Hugging Face.
Наряду с новыми моделями Meta представила Llama Stack Distribution, чтобы упростить и оптимизировать процесс создания разработчиками и предприятиями приложений на основе Llama.
В основе этой системы лежит Llama CLI — интерфейс командной строки, упрощающий сборку, настройку и запуск дистрибутивов Llama Stack. Этот инструмент упрощает процесс развертывания, позволяя разработчикам сосредоточиться на логике приложения, а не на сложностях настройки.
Для обеспечения широкой доступности Meta предоставила клиентский код на нескольких языках программирования, включая Python, Node.js, Kotlin и Swift, что позволяет интегрировать его в различные приложения и платформы.
Дистрибутивы для устройств доступны на iOS через PyTorch ExecuTorch, что облегчает разработку приложений ИИ, запускаемых непосредственно на мобильных устройствах.
