Специалисты из Yandex Research, НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического университета имени короля Абдаллы (KAUST) представили инновационный метод квантизации HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS). Этот метод обеспечивает сжатие нейросетей без потери качества, что позволяет использовать ИИ-модели на различных устройствах, включая смартфоны и ноутбуки.

Метод был протестирован на моделях Llama 3 и Qwen2.5. С помощью метода можно сжимать даже такие большие модели, как DeepSeek-R1, состоящая из 671 млрд параметров.

Благодаря этому, HIGGS делает большие языковые модели (LLM) доступными не только для крупных компаний, но и для небольших организаций, индивидуальных разработчиков и исследователей, экономя время и ресурсы на разработку.

HIGGS уже доступен на платформах Hugging Face и GitHub, а научная статья о методе опубликована на arXiv. Метод решает проблему значительных вычислительных ресурсов, необходимых для использования больших языковых моделей, таких как DeepSeek R1, которые ранее не помещались даже на дорогостоящих серверах. Теперь, благодаря HIGGS, такие модели можно запускать на более доступных устройствах, что открывает новые возможности для их применения в различных областях, особенно там, где ресурсы ограничены.

Научная статья о методе HIGGS была принята на одну из крупнейших мировых конференций по искусственному интеллекту — NAACL, которая пройдет с 29 апреля по 4 мая 2025 года в Альбукерке, Нью-Мексико, США. В конференции также примут участие такие компании и вузы, как Google, Microsoft Research и Гарвардский университет. Статья уже получила признание и была процитирована американской компанией Red Hat AI, Пекинским университетом, Гонконгским университетом науки и технологии, Фуданьским университетом и другими.