Qwen, исследовательское подразделение Alibaba, занимающееся вопросами искусственного интеллекта (ИИ), представило QwQ-32B, модель рассуждений с 32 миллиардами параметров, которая превосходит гораздо более крупных конкурентов в решении ключевых задач. Несмотря на значительно меньший размер, чем у DeepSeek-R1 (671 млрд параметров), QwQ-32B демонстрирует превосходную производительность в математике, кодировании и научных рассуждениях. Модель теперь доступна на Hugging Face и ModelScope под лицензией Apache 2.0.

Ключевой инновацией QwQ-32B является многоступенчатый процесс обучения с подкреплением (RL). Сначала модель настраивается на математику и кодирование с помощью верификатора точности и сервера выполнения кода для проверки результатов. Затем на втором этапе RL улучшается общее мышление, следование инструкциям и соответствие предпочтениям пользователя.

Бенчмарки показывают, что QwQ-32B превосходит o1-mini от OpenAI и даже выигрывает у DeepSeek-R1 в нескольких категориях, несмотря на то, что он в 20 раз меньше. Увеличенная длина контекста в 131 000 токенов еще больше повышает его способность обрабатывать длинные запросы, что делает его конкурентоспособным по сравнению с OpenAI и последними моделями Google.

Помимо производительности, QwQ-32B предлагает практические преимущества для предприятий. Во-первых, она имеет открытый вес под лицензией Apache 2.0, что позволяет компаниям дорабатывать и внедрять её без ограничений. Во-вторых, она требует значительно меньше вычислительных мощностей, работая на одном high-end GPU, по сравнению с несколькими GPU, необходимыми для DeepSeek-R1.

Команда Qwen считает QwQ-32B только началом своего пути в области обучения с подкреплением. Они планируют и дальше исследовать масштабирование RL, интегрировать агентов с RL для рассуждений, а также продолжить разработку базовых моделей, оптимизированных для этих подходов.