Исследователи из Apple опубликовали работу над Ferret-UI, новой мультимодальной моделью большого языка (MLLM), которая понимает элементы пользовательского интерфейса, их функции и потенциальное взаимодействие с пользователем, превосходя даже GPT-4V в некоторых базовых задачах пользовательского интерфейса.
Модель Ferret-UI предназначена для выполнения трех основных задач, связанных с мобильными экранами: распознавание, обоснование и рассуждение. Эти возможности позволяют ей точно понимать, что находится на экране, и выполнять действия, основанные на этом понимании.
Распознавание: Ferret-UI способна идентифицировать и классифицировать элементы пользовательского интерфейса, такие как виджеты, иконки и текст, используя различные форматы ввода (например, ограничительные рамки, каракули или точки). Это позволяет модели понять, что представляют собой конкретные элементы пользовательского интерфейса и как они функционируют в контексте всего экрана. Например, Ferret-UI может различать различные иконки, классифицировать текстовые элементы и даже интерпретировать функциональность виджетов.
Обоснование: Модель способна точно определять местоположение элементов на экране и использовать эту информацию для ответа на инструкции. Например, модель может найти конкретный виджет, идентифицировать текст или перечислить все виджеты, присутствующие в мобильном пользовательском интерфейсе. Такое детальное пространственное понимание очень важно для более сложных взаимодействий, например, если пользователь попросит Siri "найти настройки Wi-Fi", и Siri должна понять, куда ориентироваться на смартфоне.
Задачи рассуждения: Помимо простой идентификации элементов пользовательского интерфейса, Ferret-UI обладает способностью рассуждать, что позволяет ей понять общее назначение экрана. Она может подробно описывать то, что находится на экране, вступать в целевые разговоры и делать выводы о назначении макета пользовательского интерфейса. Такое глубокое понимание отличает Ferret-UI от предыдущих моделей, которые могли решать только простые задачи распознавания.
Хотя Ferret-UI — это всего лишь исследовательский проект, однако будет интересно наблюдать, как эта технология может повлиять на будущий мобильный опыт. Возможно, Apple интегрирует эту технологию в Siri, что сделает ее более умной, способной ориентироваться и использовать iPhone так же, как это делал бы человек. Она сможет понимать сложные голосовые команды, связанные с экранными элементами, автоматизировать многоэтапные задачи в разных приложениях или оказывать более тонкую помощь, основываясь на том, что в данный момент находится на экране смартфона.
