Компания Alibaba Cloud выпустила новую версию своей языковой модели зрения Qwen2-VL. Эта модель может понимать изображения в различных разрешениях и форматах, а также видео длительностью более 20 минут.
Исследовательская группа Alibaba Qwen, занимающаяся вопросами искусственного интеллекта (ИИ), сообщает, что модель достигла лидирующих результатов в нескольких бенчмарках визуального восприятия, включая MathVista, DocVQA, RealWorldQA и MTVQA.
Ключевая особенность Qwen2-VL — способность анализировать видео длительностью более 20 минут, отвечать на вопросы, вести диалоги и генерировать контент на их основе.
Модель разработана для работы в качестве визуального агента, который может интегрироваться с такими устройствами, как телефоны или роботы. Используя визуальную информацию и текстовые инструкции, он может делать сложные выводы, принимать решения и выполнять автоматические действия.
Помимо английского и китайского, Qwen2-VL может понимать текст на изображениях на многих языках, включая большинство европейских языков, японский, корейский, арабский и вьетнамский.
Qwen2-VL выпускается в трех вариантах: с 2, 7 и 72 млрд параметров. Версии с 2 и 7 млрд параметров имеют открытый исходный код и доступны на GitHub и Hugging Face под лицензией Apache 2.0.
Alibaba предлагает API для версии с 72 млрд параметров через свою платформу DashScope, для чего требуется регистрация и ключ API.
Чтобы использовать модели с Hugging Face Transformers, Qwen рекомендует устанавливать их из исходного кода. Кроме того, компания предоставляет набор инструментов под названием "qwen-vl-utils" для обработки различных форматов визуального ввода.
