Исследовательская лаборатория Илона Маска xAI выпустила предварительную версию мультимодальной модели Grok-1.5 Vision (Grok-1.5V), которая демонстрирует расширенные возможности в понимании и взаимодействии с физическим миром. Grok-1.5V способен обрабатывать широкий спектр визуальной информации, включая документы, диаграммы, графики и фотографии.

В своем блоге стартап продемонстрировал различные варианты применения Grok-1.5V. Модель демонстрирует удивительную универсальность и практичность: от написания рабочего кода на языке Python из блок-схемы, описывающей логику игры в угадайку, до расчета калорий по фотографии этикетки с питанием, преобразования таблиц в формат CSV и прочее.

Компания опубликовала таблицу, в которой сравнивает производительность Grok в различных бенчмарках с конкурирующими моделями, такими как GPT-4 от OpenAI, Claude от Anthropic и Gemini Pro. В большинстве случаев Grok показал равные или лучшие результаты.

xAI подчеркивает способность Grok понимать физический мир, измеряемую недавно представленным эталоном RealWorldQA, который проверяет пространственное понимание реального мира. Grok превзошел конкурентов, использующих подсказки с нулевым результатом (в подсказке нет примеров решений).

xAI утверждает, что понимание физического мира очень важно для разработки полезных ИИ-помощников для реального мира. С этой целью компания разработала эталон RealWorldQA, который оценивает пространственные возможности мультимодальных моделей. Эталон содержит более 760 изображений с парами вопросов и ответов. Хотя многие примеры в бенчмарке могут показаться относительно простыми для человека, они часто представляют трудности для передовых моделей, что подчеркивает значимость достижений Grok-1.5V.

Grok-1.5V будет в ближайшее время доступен для ранних тестеров и существующих пользователей Grok. В мае xAI планирует запустить Grok-2, который, по словам Маска, превзойдет GPT-4.