Множество компаний демонстрируют предварительные версии домашних роботов, но лишь немногие из них впоследствии выходят на рынок. Дело в том, что даже самые продвинутые роботы не очень хорошо взаимодействуют с предметами и средой, предназначенными для людей. Исследователи из Массачусетского технологического института (MIT) пытаются изменить эту ситуацию. Инженеры из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали фреймворк Grounding Language in DEmonstrations (Glide), который позволяет использовать большие языковые модели (LLM), чтобы роботы приобрели здравый смысл, необходимый им для взаимодействия с людьми и работы по дому.

Роботов можно запрограммировать на выполнение любой физической задачи, не выходящей за рамки их физических возможностей, и они будут выполнять ее идеально каждый раз, пока ничего не изменится. При этом для выполнения каждой задачи робота программируют, или же он обучается с помощью демонстраций человека.

Команда MIT, работающая над этим проектом, нашла способ соединить физические движения робота с моделями искусственного интеллекта, которые до сих пор использовались для создания контента. Такой подход позволяет роботу разбивать задачу на подзадачи. Он делает шаг за шагом и может приспосабливаться к неожиданным событиям без необходимости начинать все сначала. Важно, что в этом случае, разработчикам не нужно программировать роботов с учетом всех возможных обстоятельств.

Фреймворк Glide автоматизирует этот процесс. Человек дает команду большой языковой модели превратить высокоуровневые инструкции "в пошаговый абстрактный план".

Базовый план модели содержит важные детали происходящего в сцене, например, конкретные места или важные особенности. Это помогает роботу понять, что его окружает.

Затем модель связывает это понимание с возможностями робота, описывая как успешные способы выполнения задач, так и потенциальные ошибки, которых следует избегать.

Эта информация дает роботу необходимые сведения и контекст для понимания ограничений и требований, связанных с выполнением задачи.

Исследователи протестировали систему на роботизированном манипуляторе, пытающемся поднять материалы со стола. 

Эта работа может привести к созданию домашних помощников, которые смогут адаптироваться к окружающей среде и лучше справляться с внешними трудностями.