Исследователи из Университета Карнеги-Меллона (CMU) разработали новую систему, которая позволяет человеку-оператору дистанционно управлять роботом-гуманоидом. Это первая известная демонстрация телеоперации всего тела гуманоида.

Система основана на обучении с подкреплением и использует только RGB-камеру, подобную тем, что используются в веб-камерах. Платформа переводит действия оператора в движения гуманоидов, позволяя им выполнять простые задачи, такие как сбор и размещение предметов, а также более динамичные действия, такие как бокс, удар ногой по футбольному мячу и толкание коляски.

Для создания масштабного набора данных человеческих движений, которые могут быть скопированы гуманоидными роботами, команда развернула масштабируемый процесс "sim-to-data" для фильтрации и определения возможных движений с помощью привилегированного имитатора движений. Затем они обучают надежный имитатор движений гуманоидов в режиме реального времени в симуляции, используя эти уточненные движения, и переносят его на реального робота-гуманоида в режиме нулевого выстрела.

Команда успешно добилась телеоперации динамических движений всего тела в реальных сценариях, включая ходьбу, прыжки на спину, удары ногами, повороты, взмахи руками, толкание, бокс и т. д.

По словам команды, разработка знаменует собой прорыв в области телеоперации и открывает путь к более рациональному взаимодействию человека с роботами и управлению ими. В будущем эту технологию можно будет использовать для дистанционного телеуправления гуманоидами для выполнения работы по дому, опасных миссий и сложных задач, требующих схожего с человеческим уровня ловкости и адаптивности.