Google DeepMind представила Gemini Robotics и Gemini Robotics-ER, две новые модели ИИ на базе Gemini 2.0, призванные произвести революцию в управлении роботами.

Gemini Robotics — это модель «зрение-язык-действие» (VLA), расширяющая возможности Gemini 2.0 и позволяющая роботам понимать и реагировать на новые ситуации. По данным Google, Gemini Robotics удваивает производительность других моделей VLA в тестах на обобщение. Используя способность Gemini 2.0 понимать язык, робот может интерпретировать команды человека на разных языках.

Gemini Robotics-ER — это языковая модель зрения, ориентированная на пространственное мышление, что позволяет робототехникам интегрировать её в существующие контроллеры роботов. Она предлагает готовые возможности управления, включая восприятие, оценку состояния, пространственное понимание, планирование и генерацию кода.

Эти ИИ-модели позволяют роботам рассуждать, адаптироваться и быть ловкими — складывать оригами, упаковывать ланч-боксы и участвовать в динамичном взаимодействии с людьми.

Google сотрудничает с компанией Apptronik для разработки гуманоидных роботов на базе Gemini 2.0. Кроме того, для дальнейшего развития Gemini Robotics-ER ведётся сотрудничество с компаниями Agile Robots, Agility Robotics, Boston Dynamics и Enchanted Tools.

Эти разработки Google DeepMind призваны расширить возможности роботов в понимании и выполнении сложных задач, что открывает путь к более широкой интеграции роботов в различные среды.