На DevDay 2024 от OpenAI были представлены четыре ключевых нововведения, направленные на улучшение работы разработчиков.

Realtime API

Новый "Realtime API" позволяет разработчикам добавлять в свои приложения шесть голосов искусственного интеллекта (ИИ). Эти голоса отличаются от тех, что используются в ChatGPT. 

Speak, приложение для изучения иностранных языков, использует Realtime API для своей функции ролевой игры, предлагая пользователям практиковаться в разговоре на новом языке.

Технология работает и для телефонных звонков, например, для оформления заказов. OpenAI не сообщает автоматически, что это голос ИИ, оставляя это на усмотрение разработчиков.

Тонкая настройка зрения: Настройка GPT-4o для понимания изображений

Разработчики теперь могут настраивать GPT-4o на работу с изображениями и текстом, расширяя его возможности визуального восприятия. Эта функция открывает возможности для улучшения визуального поиска, обнаружения объектов в автономных транспортных средствах и анализа медицинских изображений.

Первые пользователи сообщают о значительных улучшениях. Компания Grab, специализирующаяся на доставке еды и поездках по Юго-Восточной Азии, увеличила точность подсчета полос движения на 20 % и локализации знаков ограничения скорости на 13 %, используя всего 100 обучающих примеров.

Prompt Caching (Кэширование подсказок)

Новая функция кэширования подсказок направлена на снижение затрат и задержек. Повторное использование недавно просмотренных маркеров ввода позволяет разработчикам получить 50% скидку и сократить время обработки.

Кэширование подсказок автоматически применяется к последним версиям GPT-4o, GPT-4o mini, o1-preview и o1-mini, а также к доработанным версиям этих моделей.

Дистилляция моделей: Упрощение разработки ИИ-моделей

"Дистилляция моделей" позволяет оптимизировать более мелкие модели, такие как GPT-4o mini, используя результаты более крупных моделей. OpenAI предоставила для этого новые интегрированные инструменты, включая сохраненные дополнения и варианты оценки.