Компания Apple разработала новую систему искусственного интеллекта (ИИ) под названием Ferret-UI 2, которая может читать и управлять приложениями на iPhone, iPad, Android-устройствах, в веб-браузерах и Apple TV.

Система набрала 89,73 балла в тестах на распознавание элементов пользовательского интерфейса, что значительно выше, чем у GPT-4o — 77,73 балла. Она также демонстрирует значительные улучшения по сравнению с предшественником в базовых задачах, таких как распознавание текста и кнопок, а также в более сложных операциях.

Вместо того чтобы полагаться на конкретные координаты нажатия, Ferret-UI 2 стремится понять намерения пользователя. Получив команду, например "Пожалуйста, подтвердите ваш ввод", система может определить соответствующую кнопку, не требуя точных данных о местоположении. Исследовательская группа Apple использовала визуальные возможности GPT-4o для создания высококачественных обучающих данных, которые помогли системе лучше понять, как элементы пользовательского интерфейса соотносятся друг с другом в пространстве.

Ferret-UI 2 использует адаптивную архитектуру, которая распознает элементы пользовательского интерфейса на разных платформах. Она включает в себя алгоритм, который автоматически балансирует разрешение изображения и требования к обработке для каждой платформы. По словам исследователей, такой подход "одновременно сохраняет информацию и эффективен для локального кодирования".



Тестирование показало высокую кроссплатформенную производительность: модели, обученные на данных iPhone, достигли 68 % точности на iPad и 71 % точности на устройствах Android. Однако система испытывала больше трудностей при переходе от мобильных устройств к телевизионным или веб-интерфейсам, что исследователи объясняют различиями в компоновке экранов.

Другие компании также продвигают свои собственные ИИ-системы для понимания пользовательского интерфейса. Anthropic недавно выпустила обновленную версию Claude 3.5 Sonnet с поддержкой взаимодействия с пользовательским интерфейсом, а Microsoft выпустила OmniParser, инструмент с открытым исходным кодом, который преобразует содержимое экрана в структурированные данные, для той же цели.