Компания Meta выпустила новые версии своих ИИ-моделей Llama 3.2, которые работают в четыре раза быстрее и на 56% меньше по сравнению с оригинальными моделями. Это "квантованные" версии ИИ-моделей, специально оптимизированные для смартфонов и других устройств с ограниченной вычислительной мощностью.

Большие языковые модели (LLM), такие как Llama, как правило, являются ресурсоемкими и требуют значительной вычислительной мощности и памяти для работы. Это может стать препятствием для их развертывания на устройствах с ограниченными ресурсами, таких как смартфоны и встроенные системы. Квантованные модели решают эту проблему, уменьшая размер модели и вычислительные требования без ущерба для производительности.

Квантование — это техника, которая снижает точность числовых значений, используемых для представления параметров модели. Это уменьшает общий размер модели и позволяет ускорить ее обработку, что делает ее подходящей для устройств с меньшим объемом памяти и вычислительной мощности.

Meta использовала два метода квантования для своих моделей Llama 3.2 1B и 3B:

— QLoRA: этот метод ставит во главу угла точность, обеспечивая максимально возможное соответствие квантованной модели оригиналу, даже при снижении точности.

— SpinQuant: этот метод ставит во главу угла переносимость, позволяя еще больше сжать модель за счет потенциальной потери некоторой точности.

Компания тесно сотрудничала с производителями чипов Qualcomm, MediaTek и ARM, чтобы оптимизировать эти модели для мобильных процессоров. Помимо процессоров, Meta также работает с партнерами над поддержкой блоков нейронной обработки, что может еще больше повысить производительность моделей на поддерживаемых устройствах.

Эти разработки важны, поскольку позволяют функциям ИИ работать непосредственно на устройстве, не требуя подключения к удаленным серверам. Такой подход позволяет повысить уровень конфиденциальности и сократить задержки в ответах ИИ.

Новые квантованные модели доступны уже сейчас через Meta и Hugging Face. Разработчики могут выбрать версию, которая лучше всего соответствует их потребностям — либо для оптимизации точности, либо для работы на различных типах устройств.