Благодаря GPT-4V у ChatGPT появились "глаза", и теперь он может анализировать графику, фотографии и все другие виды визуального контента. Это открывает новые возможности.

Спустя примерно полгода после анонса мультимодальной версии GPT-4, которая теперь называется GPT-4V(ision), OpenAI наконец-то начинает использовать эту функцию для платных клиентов ChatGPT. За короткое время пользователи успели изучить возможности ChatGPT, используя различные изображения и текстовые подсказки. Вот несколько интересных примеров для его использования:

1. Frontend разработка

Одним из наиболее популярных вариантов использования больших языковых моделей является программирование. Именно здесь и проявляются новые мультимодальные возможности ChatGPT. Например, GPT-4V может воссоздать приборную панель сайта по скриншотам или рисункам. Пример.

Инструмент ИИ практически идеально имитирует заданную структуру, даже принимая данные из шаблона 1:1 в качестве заполнителей. Отличаются только детали дизайна — цвета, формы и шрифты. Тем не менее GPT-4V может существенно сократить время разработки от проекта до прототипа в этой области. Пример.

Мэтт Шумер, генеральный директор ИИ-стартапа HyperWrite, пошел еще дальше и объединил GPT-4V с концепцией AutoGPT. В этом случае ИИ использует результат одного запуска в качестве подсказки для следующего, что позволяет ему самостоятельно постоянно совершенствовать код. Пример.

2. Объяснение комиксов, мемов или инфографики

GPT-4V может объяснить, что изображено и что имеется в виду на том или ином изображении. Будь то карикатура, комикс или мем в Twitter, ChatGPT сначала подробно опишет изображение, включая подписи, а затем объяснит, например, в случае юмористических изображений, почему их содержание может быть воспринято как смешное.

3. Помощь в выполнении домашних заданий

ИИ играет важную роль в образовании, хотя бы потому, что учащиеся активно используют ChatGPT для выполнения домашних заданий. 

Как демонстрирует Маккей Ригли в Twitter, GPT-4V может легко разобрать даже сложную инфографику, такую как схема человеческой клетки. В его примере клетка получила описание на уровне девятого класса.

Модель также может разбивать инфографику на простые текстовые пояснения:

4. Дать совет по дизайну интерьера

Помимо графики, GPT-4V может обрабатывать фотографии или изображения, сгенерированные ИИ. В данном примере пользователь Twitter Пьетро Ширано ввел изображения, созданные ИИ, и попросил ChatGPT дать название этому стилю интерьера, на что ИИ оперативно предоставил разумное объяснение.

Ширано подчеркивает потенциал персонализированного ИИ еще одним примером. Он сохранил некоторую информацию о себе в пользовательских инструкциях, которую ChatGPT учитывает при оценке интерьера.

5. Расшифровка неразборчивых надписей

OCR (Оптическое распознавание символов) — это лишь небольшая часть GPT-4V, но ее возможности огромны. Историкам будет интересно узнать, что GPT-4V может расшифровывать и переводить исторические манускрипты. "Гуманитарные науки ждут большие перемены", — говорит исследователь Итан Моллик, использовавший GPT-4V для конвертации, перевода и анализа столетних записей Роберта Гука.

Для использования GPT-4V требуется платное членство в ChatGPT Plus стоимостью 20 долларов в месяц. Получив его, можно загружать изображения через веб-сайт и приложение для смартфонов. Загружать можно сразу несколько изображений одновременно. В настоящее время OpenAI поэтапно внедряет GPT-4V.