Французский ИИ-стартап Mistral представил Pixtral 12B, свою первую ИИ-модель, способную обрабатывать как изображения, так и текст. 

Pixtral 12B основана на Nemo 12B, ранее выпущенной текстовой модели, с добавлением адаптера зрения с 400 млн параметров. Новая модель позволяет пользователям вводить изображения через URL-адреса или в кодировке base64, а также текст, что позволяет выполнять такие задачи, как создание подписей к изображениям и подсчет объектов.

Кодировщик зрения модели может обрабатывать изображения с разрешением 1024х1024 пикселей, разбитые на участки 16х16 пикселей, что обеспечивает гибкость при обработке изображений высокого разрешения. Сочетание обработки текстовых и визуальных данных расширяет спектр возможных вариантов использования Pixtral 12B, включая такие задачи, как классификация изображений или ответы на вопросы на основе визуального ввода.

Pixtral на GitHub.