Последние достижения в области робототехники и искусственного интеллекта (ИИ) открыли новые возможности для телеоперации — дистанционного управления роботами для выполнения задач на удаленных объектах. Компании Nvidia и Калифорнийский университет в Сан-Диего разработали систему телеоперации на основе компьютерного зрения под названием AnyTeleop, которая может применяться в самых разных сценариях, что делает ее универсальной и легко адаптируемой.

В отличие от существующих систем телеоперации, предназначенных для определенных условий и роботов, конструкция AnyTeleop позволяет использовать ее в различных реальных условиях, что расширяет возможности ее применения. Система позволяет дистанционно управлять различными роботизированными руками и манипуляторами, что делает ее пригодной для решения различных ручных задач.

Традиционно основное внимание уделялось тому, как человек управляет роботом с помощью телеуправления, однако такой подход имеет свои ограничения. Он требует множество демонстраций и специализированного оборудования для конкретного робота или среды развертывания. AnyTeleop преодолевает эти барьеры, так как она относительно недорогая и простая в развертывании система телеоперации для различных задач, сред и робототехнических систем. Для обучения своей системы исследователи телеуправляли как виртуальными роботами в моделируемой среде, так и реальными роботами в физической среде.

AnyTeleop использует компьютерное зрение, что позволяет пользователю использовать свои руки для управления роботизированными манипуляторами. Система отслеживает положение рук человека с помощью одной или нескольких камер, а затем перенацеливает их для управления пальцами многопалой руки робота. В системе также используется планировщик движений на базе CUDA для управления движением руки робота в зависимости от положения запястья.

Важной особенностью AnyTeleop является его совместимость с различными манипуляторами, руками роботов, конфигурациями камер, а также с моделируемыми и реальными средами. Она может быть использована для сценариев телеоперации как на близких, так и на удаленных объектах. Кроме того, платформа позволяет собирать демонстрационные данные о человеке, которые могут быть использованы для обучения роботов автономному выполнению задач.

Испытания показали, что AnyTeleop превосходит существующие системы телеоперации, разработанные для конкретных роботов, что свидетельствует о ее ценности для расширения возможностей приложений телеоперации. Компания Nvidia планирует выпустить версию AnyTeleop с открытым исходным кодом, что позволит исследовательским группам по всему миру тестировать и применять ее в своих роботах.

Эта система телеоперации на основе технического зрения способна революционизировать конвейер обработки данных для исследователей и промышленных разработчиков, а также облегчить масштабирование систем телеоперации и сбор обучающих данных для роботов-манипуляторов. Будущие исследования направлены на решение проблем, связанных с переносом моделей роботов из области моделирования в реальный мир.