Британская компания Wayve, специализирующаяся на разработке автономных транспортных средств, разработала систему искусственного интеллекта (ИИ), которая сочетает языковую модель с визуальными данными, чтобы лучше ориентироваться на дорогах и объяснять свои решения в режиме реального времени.

LINGO-2 — это модель видения-языка-действия (VLAM), которая сочетает в себе язык и возможности зрения. Она может воспринимать окружающий мир, одновременно управляя автомобилем.

Последняя версия модели LINGO-1, выпущенная в ноябре 2023 года, была разработана для улучшения поведения беспилотного автомобиля при вождении.

Модель обрабатывает изображения с камер автомобиля, передавая эти данные вместе с информацией о правилах скоростного режима в языковую модель, чтобы обеспечить непрерывный комментарий к ее решениям вождения. Например, она может объяснить, что притормаживает перед пешеходами на дороге или выполняет маневр обгона.

Модель можно попросить выполнить такие команды, как "остановиться" или "повернуть направо". LINGO-2 также может прогнозировать и отвечать на вопросы о  предстоящей дороге и решениях, которые она принимает во время движения. 

Компания Wayve провела первое испытание VLAM на дорогах общего пользования, развернув LINGO-2 на дороге в центре Лондона. Из видео видно, как LINGO-2 следует по маршруту и меняет полосы движения, снижает скорость в зависимости от дорожных условий и даже обучает безопасному проезду автобус и остановке на красный свет.

По словам стартапа, модели, подобные LINGO-2, сочетающие визуальные возможности с языком, "открывают новые возможности для ускорения обучения с помощью естественного языка".

Wayve планирует провести больше реальных экспериментов, чтобы убедиться в безопасности использования LINGO-2 на дорогах.

В число спонсоров Wayve, основанной в 2017 году, входят Microsoft, онлайн-супермаркет Ocado, основатель Virgin Group сэр Ричард Брэнсон и изобретатель интернета сэр Тим Бернерс-Ли.