OpenAI добавила в GPT-4o встроенную функцию генерации изображений. Это отличается от функций генерации изображений, которые ранее использовали отдельную модель под названием DALL-E. Теперь пользователи могут генерировать и улучшать изображения в чате, используя одну и ту же модель, без переключения контекста. Эта возможность доступна в ChatGPT (Free, Plus, Pro и Team) и Sora, а в ближайшие недели ожидается ее распространение на пользователей Enterprise, Education и API.

Это означает, что ИИ, с которым общается пользователь, может создавать визуальные образы, принимая подсказки и генерируя последовательное изображение, учитывающее контекст, предпочтения и предыдущие сообщения. Этот итеративный цикл — изменение изображений в потоке разговора — и есть то, что делает это обновление интересным.

Компания подчеркивает, что генератор изображений 4o — это не просто творческий инструмент, он создан для практического использования. Он может генерировать диаграммы, ресторанные меню, иллюстрации на доске, комиксы и даже дизайнерские активы с прозрачным фоном. GPT-4o использует свое понимание языка и визуальных связок для создания результатов, которые точно соответствуют намерениям пользователя. Модель генерации изображений была обучена на парных данных «изображение-текст», а методы посттренингового обучения повысили ее точность и согласованность.

Из-за более высокой точности генерация изображений занимает больше времени — в некоторых случаях до минуты. Но за это приходится платить большим контролем, осознанием контекста и качеством изображения. Для разработчиков генерация изображений GPT-4o будет доступна через API в ближайшие недели, а для пользователей, предпочитающих более старый интерфейс, DALL-E остается доступным через специальный GPT.