Новый инструмент был протестирован на 21 симуляторе и в реальных условиях с использованием собаки-робота Spot компании Boston Dynamics и показал точность 80%.

Исследователи из Университета Брауна представили новое программное обеспечение, которое, по их словам, переводит простые инструкции на естественном языке в поведение без необходимости многочасового обучения. То есть, используя новое ПО, можно сообщить автономному мобильному роботу, что вы хотите, чтобы он шел по улице "Х" и зашел в кафе "А", но перед этим заглянул в банк и прошел мимо Булочной. Робот с новым ПО будет точно следовать вашим инструкциям.

В настоящее время большинство существующих программ для навигации роботов, не могут точно перейти от естественного языка к математическому языку, который используется роботами для понимания и выполнения поставленных задач. Программным системам еще труднее совершать логические скачки на основе сложных или выразительных указаний.

Разработка больших языковых моделей позволила решить эту задачу, обеспечив роботов более глубоким понимание человеческого языка и четкой интерпретацией инструкций.

Новое ПО, получившее название Lang2LTL, обеспечивает "бесшовное общение" между людьми и роботами. Оно разделяет и разбивает инструкции на части, чтобы устранить необходимость в обучающих данных.

У роботов появляется инструмент, с помощью которого они становятся способными воспринимать команды на естественном языке и генерировать поведение. ПО также позволяет роботам вычислять логические скачки, которые необходимо совершить для принятия решений, основываясь как на контексте инструкций, так и на том, что и в каком порядке робот может делать.

Lang2LTL "plug-and-play" может работать в любой среде без обычного длительного процесса обучения. По словам команды, все, что ей нужно, — это карта окружающей среды, и она готова к работе.

В будущем этот инструмент может найти применение в мобильных роботах, перемещающихся по улицам города, это может быть самоуправляемый автомобиль или наземный транспорт, доставляющий посылки. В любой момент, когда необходимо будет поговорить с роботом и дать ему конкретные указания о том, что ему нужно сделать, достаточно будет дать ему подробные и точные инструкции.

В ходе испытаний Lang2LTL было протестировано на 21 симуляторе с использованием OpenStreetMap и показала точность 80%. Система также была развернута в кампусе Брауна с помощью собаки-робота Boston Dynamics Spot. 

Далее команда планирует выпустить симуляцию на OpenStreetMaps, которую пользователи смогут опробовать самостоятельно, позволяя вводить команды на естественном языке для управления дроном в симуляции. Симуляция будет размещена на сайте проекта.

Исследователи также планируют добавить в программу возможность манипулирования объектами.