Исследователи из Google DeepMind использовали глубокое обучение с подкреплением для обучения маленьких гуманоидных роботов таким футбольным навыкам, как поворот, удар и преследование мяча.

Команда опубликовала результаты в социальных сетях, продемонстрировав способность роботов ходить, поворачиваться, бить по мячу и вставать после падения. Со временем маленькие роботы смогли предугадывать движения соперников и даже блокировать их удары.

"Робототехники давно используют такие игры, как футбол, для проверки сложных движений, координации и осознания окружающей среды", — пишет команда DeepMind.

Роботы-футболисты сначала обучались в симуляторе с использованием физического движка MuJoCo, а затем передавали свои навыки маленьким гуманоидным роботам Robotis OP3 с 20 приводимыми в движения суставами.

Обучение проходило в два этапа: сначала роботы осваивали базовые навыки, такие как умение стоять на ногах и забивать голы. Затем эти навыки были объединены в одного робота, который играл против все более сильных соперников, чтобы адаптироваться к различным игровым ситуациям.

Чтобы преодолеть разрыв между относительно простыми компьютерными симуляторами и сложным реальным миром, команда добавила в симулятор разрушительные силы и случайные события. Это позволило роботам методом проб и ошибок научиться справляться с неожиданными возмущениями в реальном мире.

В ходе экспериментов робот, обученный искусственным интеллектом, бегал на 181 % быстрее, поворачивался на 302 % быстрее, вставал на 63 % быстрее и бил по мячу на 34 % быстрее, чем аналогичные роботы, запрограммированные вручную.

Полная информация об исследовании опубликована в журнале Science Robotics.

По словам команды, исследование продемонстрировало способность глубокого обучения с подкреплением получать контроль над всем телом человекоподобных роботов, что может найти применение в более крупных роботах в будущем.