Компания OpenAI представила Operator — ИИ-помощника, который может самостоятельно ориентироваться в Интернете, выполняя по запросу пользователя повторяющиеся задачи, такие как бронирование билетов или заказ продуктов.

В Operator используется Computer-Using Agent (CUA) — модель, объединяющая возможности зрения GPT-4V с продвинутыми навыками рассуждения, развитыми с помощью обучения с подкреплением. Это позволяет ИИ-помощнику «видеть» и перемещаться по экрану, как это делал бы человек. Управление данными на компьютере осуществляется с помощью виртуального курсора и клавиатуры.

CUA работает в три этапа: сначала она делает скриншоты того, что видит на экране. Затем использует цепочку мыслей, чтобы решить, что делать дальше, принимая во внимание как то, что она видит в данный момент, так и то, что она делала раньше. Эти «внутренние монологи» помогают ей совершать меньше ошибок и быть более точной, подобно другим моделям OpenAI. Наконец, она выполняет действия, нажимая, прокручивая или набирая текст, пока не выполнит задачу или не потребует вмешательства пользователя.

При этом в OpenAI реализованы надежные меры безопасности, включая «режим захвата», который требует вмешательства пользователя для выполнения таких важных действий, как ввод учетных данных или платежной информации. Специальная модель мониторинга следит за подозрительным поведением и при необходимости останавливает выполнение задач, а система обнаружения защищает от вредоносных сайтов, которые могут попытаться манипулировать агентом.

OpenAI утверждает, что CUA демонстрирует хорошие результаты в стандартных бенчмарках. Она набрала 58,1% в тесте WebArena, который проверяет, насколько хорошо модель справляется с симуляцией веб-сайтов для таких задач, как интернет-магазины и управление контентом. С реальными веб-сайтами система справляется лучше — в тесте WebVoyager, который проверял ее на таких сайтах, как Amazon и Google Maps, она достигла 87% успеха.

Несмотря на то, что Operator демонстрирует перспективность в автоматизации рутинных веб-задач, в настоящее время он сталкивается с ограничениями при работе со сложными интерфейсами, такими как управление календарем и создание слайд-шоу. OpenAI признает эти ограничения и подчеркивает, что предварительный этап исследований поможет усовершенствовать возможности системы благодаря обратной связи с реальным миром.

Первоначальная предварительная исследовательская версия будет доступна для пользователей Pro в США на сайте operator.chatgpt.com. Это позволит OpenAI получить информацию от первых пользователей, доработать недостатки и улучшить систему с течением времени. Компания также сделает CUA доступной через свой API, чтобы разработчики могли создавать своих собственных ИИ-агентов.

Operator — это первый шаг OpenAI на пути превращения ИИ из системы, которая просто предоставляет информацию, в систему, способную самостоятельно выполнять сложные рабочие процессы.