Компания Google DeepMind представила ряд разработок, которые решают такие ключевые задачи робототехники, как автономный сбор данных, эффективность вычислений и обобщение задач. Вместе эти новые системы — AutoRT, SARA-RT и RT-Trajectory — демонстрируют прогресс на пути к созданию более способных роботов-помощников.
AutoRT может обучать несколько роботов одновременно для выполнения различных задач в разных условиях. Система работает на основе сочетания визуальной языковой модели (VLM) для понимания окружающей среды и объектов в поле зрения и большой языковой модели (LLM), которая предлагает различные манипуляционные задачи, соответствующие тому, что роботы видят в окружающей среде. Система направляет роботов, каждый из которых оснащен камерой и концевым эффектором, на выполнение различных задач.
В ходе испытаний, проводившихся в нескольких офисных зданиях в течение 7 месяцев, AutoRT управлял одновременно 20 роботами (всего 52 уникальных робота). В результате был получен богатый массив данных из 77 000 испытаний роботов в 6 650 отдельных задачах.
SARA-RT, или Self-Adaptive Robust Attention for Robotics Transformers, — это новая система, разработанная для более эффективного обучения роботов-трансформеров (RT). Используя новый метод тонкой настройки модели, который Google Deepmind называет "up-training", SARA-RT преобразует "квадратичную сложность в простую линейную сложность", тем самым снижая вычислительные усилия и увеличивая скорость работы исходной модели при сохранении прежнего качества.
SARA-RT можно применять к различным моделям трансформеров, например, к трансформерам облаков точек, которые обрабатывают пространственные данные с роботизированных камер глубины.
RT-Trajectory позволяет роботам обобщать навыки для выполнения новых задач. RT-Trajectory добавляет к обучающим данным эскизы траекторий — упрощенные 2D-контуры движений робота. Это дополнительное визуальное сопровождение позволяет роботам интерпретировать инструкции в контексте окружающей среды и эффективнее обобщать их.
Google DeepMind представляет себе будущее, в котором эти модели и системы будут интегрированы для создания роботов с обобщением движений RT-Trajectory, эффективностью SARA-RT и богатым сбором данных таких моделей, как AutoRT. Конечная цель этого исследования — создание более эффективных и полезных роботов.
