Компания Alibaba Cloud представила новую серию языковых моделей под названием Qwen2-Math, оптимизированных для решения математических задач. В бенчмарках эти модели показывают лучшие результаты по сравнению с такими большими языковыми моделями, как GPT-4 и Claude.

Модели Qwen2-Math и Qwen2-Math-Instruct доступны в объемах от 1,5 до 72 млрд параметров. Они основаны на общих языковых моделях Qwen2, но прошли дополнительное предварительное обучение на специализированном математическом датасете.

В этот датасет входят высококачественные математические веб-тексты, книги, коды, экзаменационные вопросы и данные для предварительного обучения математике, созданные Qwen2. Alibaba утверждает, что благодаря этому математические модели Qwen2 превосходят математические возможности LLM общего назначения, таких как GPT-4.

В таких бенчмарках, как GSM8K, Math и MMLU-STEM, самая большая модель, Qwen2-Math-72B-Instruct, превзошла такие модели, как GPT-4, Claude-3.5-Sonnet, Gemini-1.5-Pro и Llama-3.1-405B. Кроме того, она показала высокие результаты в таких китайских математических тестах, как CMATH, GaoKao Math Cloze и GaoKao Math QA.

Математические модели доступны под лицензией Tongyi Qianwen на сайте Hugging Face. 

В настоящее время математические модели Qwen2 поддерживают в основном английский язык. В скором времени команда планирует выпустить двуязычные модели с поддержкой английского и китайского языков, а многоязычные модели находятся в разработке.

Alibaba заявила, что намерена и дальше улучшать способность моделей решать сложные математические задачи. Однако неясно, приведет ли обучение языковых моделей исключительно математическим задачам к фундаментальному улучшению логических способностей.

Недавно Google DeepMind представила гибридную ИИ-систему, объединяющую в себе две специализированные языковые модели AlphaProof и AlphaZero, которая завоевала серебряную медаль на Международной математической олимпиаде (IMO) в этом году.