Робототехническая компания Boston Dynamics интегрировала GPT-4 от OpenAI в своего робота-собаку Spot.

Помимо GPT-4 изменения коснулись и конструкции робопса. Для того, чтобы Spot стал говорящим роботом, Boston Dynamics оснастила его Bluetooth-динамиком, микрофоном и рукой-манипулятором, которая служит ему шеей и головой. Рука-манипулятор имитирует движения рта при разговоре. Таким образом, у Spot появился язык жестов.

Для обработки языка и изображений в обновленном робопсе разработчики компании использовали новейшую модель GPT-4, а также наборы данных Visual Question Answering (VQA) и программу распознавания речи Whisper от OpenAI, что позволяет вести реалистичный диалог с человеком.

При разговоре Spot теперь может распознавать человека, находящегося рядом с ним, и поворачиваться к нему во время разговора.

В ходе экспериментов с роботом компания Boston Dynamics обнаружила эмерджентные способности, то есть навыки, которые робот удивительным образом проявляет, хотя они не были явно заданы или запрограммированы в нем.

Например, на вопрос об основателе Boston Dynamics Марке Райберте Spot ответил, что не знает этого человека и посоветовал обратиться в службу технической поддержки. Эта просьба о помощи не была явным указанием в подсказке.

Отвечая на вопрос о своих родителях, Spot назвал своих предшественников в лаборатории "Spot V1" и "Big Dog".

Робот с ChatGPT отлично придерживается заданного характера. Для него можно выбрать определенную роль — от археолога, рассказывающего о 1920-х годах, до актера, цитирующего Шекспира. Эти роли подчеркивают способность роботов адаптироваться к контексту и менять способы взаимодействия. Это взаимодействие выходит на новый уровень благодаря экспериментам с сарказмом и другими специфическими для человека формами общения, открывая возможность более глубокого изучения человеческого языка и поведения.

Компания Boston Dynamics не раскрывает конкретных планов относительно своего модифицированного Spot. Но, по мнению компании, роботы в целом являются перспективным способом внедрения языковых моделей в реальный мир. Возможностей для этого множество — от туристических гидов, обслуживания клиентов до персональных компаньонов.