Одной из самых впечатляющих демонстраций на Google I/O 2024 стал Project Astra — мультимодальный ИИ-ассистент, работающий в режиме реального времени. Он способен видеть мир, понимать контекст и отвечать на запросы пользователя в естественной разговорной манере. Работающий на базе модели Gemini 1.5 от Google и других моделей, ориентированных на конкретные задачи, Astra непрерывно обрабатывает видео- и речевые данные, что позволяет ему понимать и запоминать окружающую обстановку.

В демонстрационном ролике сотрудница Google продемонстрировала возможности Astra, используя только камеру смартфона. ИИ-помощник без труда определял объекты, отвечал на вопросы о фрагментах кода и даже узнавал район Кингс-Кросс в Лондоне, глядя в окно. 

Демис Хассабис, глава Google DeepMind, подчеркнул, что цель состоит в создании "универсального помощника", который будет полезен в повседневной жизни. "Представьте себе агентов, которые могут видеть и слышать то, что мы делаем, лучше понимать контекст, в котором мы находимся, и быстро реагировать в разговоре, чтобы темп и качество взаимодействия были намного более естественными", — сказал он.

Google заявила, что планирует внедрить Project Astra в приложение Gemini и другие свои продукты, начиная с конца этого года.