OpenAI представила GPT-4o — новую современную модель ИИ, способную понимать и генерировать контент из текста, изображений и аудио. GPT-4o (o — omnimodel) развивает возможности своей предшественницы, GPT-4, и предлагает новые мощные мультимодальные функции для всех, включая бесплатных пользователей.

Буква "o" в GPT-4o означает "omni", что отражает способность модели обрабатывать несколько типов входных и выходных данных с помощью одной нейронной сети.

По словам технического директора OpenAI Мури Мурати, GPT-4o "воспринимает голос, текст и зрение" в режиме реального времени. Одна из ключевых особенностей GPT-4o — впечатляющие аудиовозможности. Модель может реагировать на аудиосигнал в среднем за 232 миллисекунды, что сопоставимо с временем реакции человека в разговоре. Для сравнения, старым моделям требовалось от 2,8 до 5,4 секунды для ответа.

GPT-4o также может различать спокойное и возбужденное дыхание, выражать различные эмоции в синтетической речи и даже менять свой голос на роботизированный или петь по запросу. Это позволяет сделать взаимодействие между человеком и искусственным интеллектом (ИИ) более естественным.

Во время презентации OpenAI продемонстрировал аудиовизуальные возможности GPT-4o в реальном времени: ChatGPT помог решить математическую задачу, интерпретировать код и почувствовать эмоции собеседника. Новый ChatGPT также можно прервать, и он будет отвечать в режиме реального времени, что делает разговор более естественным и интуитивным.

Зрительные возможности модели позволяют ей анализировать видео или графику в режиме реального времени, распознавать и описывать эмоции на лицах и реагировать соответствующим образом.

Что касается производительности, то OpenAI утверждает, что GPT-4o соответствует возможностям GPT-4 в задачах с английским текстом и кодированием, а также значительно улучшает многоязычную производительность при вдвое меньших затратах. Он показал новый высокий результат в 87,2 % в 5-shot MMLU (вопросы на общие знания), значительно улучшил производительность распознавания речи по сравнению с Whisper-v3 на всех языках, установил новый современный уровень производительности в задачах перевода речи и визуального восприятия.

Помимо новой модели GPT-4o, OpenAI также анонсировала новую настольную версию ChatGPT и обновленный пользовательский интерфейс, направленный на упрощение взаимодействия. По словам Мурати, поскольку эти модели становятся все более сложными, цель состоит в том, чтобы сделать пользовательский опыт более интуитивным и бесшовным, уделяя больше внимания взаимодействию, а не интерфейсу.

OpenAI использует взвешенный подход к внедрению GPT-4o. Сегодня в ChatGPT и API интегрируются функции работы с текстом и изображениями, а в ближайшие недели после дополнительного тестирования появятся возможности работы с аудио и видео. Безопасность остается ключевым приоритетом, и модель проходит обширное тестирование.

OpenAI утверждает, что внедрение будет постепенным и появится в продуктах в течение ближайших недель.