Исследователи представили ORBIT-Surgical — среду моделирования, которая может быть использована для обучения роботов хирургическим задачам. В ее разработке участвовали ученые из Университета Торонто, Калифорнийского университета в Беркли, ETH Zurich, Georgia Tech и Nvidia.

ORBIT-Surgical — это новый фреймворк с открытым исходным кодом для моделирования хирургических роботов. Его цель — облегчить и ускорить исследования в области машинного обучения для робот-ассистированной хирургии. В рамках проекта используется платформа моделирования робототехники Isaac Sim от Nvidia и инструмент 3D-разработки Omniverse для рендеринга с трассировкой лучей.

Среда моделирования включает детальные модели двух хирургических роботов: da Vinci Research Kit (dVRK) и Smart Tissue Autonomous Robot (STAR). Кроме того, ORBIT-Surgical предлагает 14 эталонных задач, которые представляют собой базовые хирургические навыки. Они включают в себя простые движения, а также взаимодействие с жесткими и деформируемыми объектами, такими как иглы и трубки.

Благодаря распараллеливанию GPU на одной видеокарте можно одновременно выполнять до 8 000 симуляций. Это позволяет эффективно обучать алгоритмы обучения с подкреплением в течение нескольких часов. Классические симуляторы на базе CPU требуют для этого несколько дней или недель.

Кроме того, ORBIT-Surgical поддерживает различные устройства ввода, такие как VR-контроллеры и блок управления системы dVRK. Это позволяет специалистам управлять симулированными роботами в режиме реального времени. Записанные движения можно использовать для обучения алгоритмов имитации.

Еще одно преимущество платформы — возможность генерировать фотореалистичные синтетические изображения. По данным исследователей, сочетание таких данных с реальными изображениями более чем в два раза повысило производительность модели в эксперименте для сортировки хирургических игл.

Ожидается, что будущие версии ORBIT-Surgical также будут поддерживать моделирование разрезов в мягких тканях и алгоритмы для более сложных задач, таких как наложение швов. С помощью этой платформы исследователи хотят продвинуть робот-ассистированную хирургию, основанную на обучении. По их словам, цель состоит в том, чтобы разработать системы, которые будут поддерживать и облегчать работу хирургов во время сложных процедур.

ORBIT-Surgical теперь доступна на GitHub.