Компания Anthropic представила новую функцию, позволяющую ее ИИ-ассистенту Claude управлять компьютерами как человек. Функция Computer Use ("Использование компьютера"), выпущенная в публичной бета-версии, позволяет Claude воспроизводить поведение человека за компьютером, включая перемещение курсора, нажатие клавиш и набор текста. Это первая ИИ-модель, предлагающая такую функциональность.

Компьютерное использование было разработано на основе сочетания существующих возможностей ИИ в области визуального понимания и логических рассуждений, а также на основе предыдущей работы с мультимодальными моделями и моделями использования инструментов. Сначала Claude делает скриншоты экрана компьютера, "видит" элементы на нем и рассчитывает действия на основе положения пикселей.

В процессе обучения Claude также учился пользоваться простым программным обеспечением, таким как калькуляторы и текстовые редакторы, что позволило ему перенести эти навыки на более сложные приложения.

В демонстрационном видео от Anthropic показано, насколько практичным может быть Claude. Перед ИИ была поставлена задача заполнить запрос поставщику — найти необходимую информацию в электронных таблицах и CRM-системах и внести ее в требуемые формы без какой-либо помощи со стороны человека.

В другой видеопрезентации показаны способности Claude в кодировании. Ему была поставлена задача создать персональную домашнюю страницу в стиле 90-х на сайте Claude.ai, исправляя по пути ошибки. Несмотря на некоторые трудности, например, отсутствие установленного Python, Claude быстро адаптировался и перешел на Python 3.

Технология "Использование компьютера" доступна в публичной бета-версии для разработчиков через API Anthropic и облачные сервисы, такие как Amazon Bedrock и Google Cloud's Vertex AI. Такие компании, как Asana, Canva и DoorDash, уже тестируют технологию для решения сложных задач.