Google расширяет возможности AI Mode в поиске, добавляя новые мультимодальные функции. Теперь пользователи могут взаимодействовать с текстом и изображениями для получения более глубоких и гибких результатов. Обновление позволяет загружать или делать фотографии и задавать связанные с ними вопросы, на которые ИИ дает подробные ответы с ссылками для дальнейшего изучения.

Усовершенствованный AI Mode основан на специальной версии модели Gemini 2.0 от Google. Функция поддерживает сложные запросы и обеспечивает более разговорный поиск, используя технику «веерного запроса», когда несколько подзапросов обрабатываются одновременно в различных источниках данных. Результаты объединяются в целостный информативный ответ.

Одним из ключевых дополнений является способность понимать изображения в контексте. По словам Google, ИИ может анализировать целые сцены на фото, включая взаимосвязи между объектами, материалами, цветами, формами и их расположением. Это позволяет осуществлять более осмысленный визуальный поиск. Например, если сфотографировать полку с книгами и попросить порекомендовать книги, ИИ распознает названия и предложит похожие произведения.

Google отмечает, что запросы в AI Mode, как правило, в два раза длиннее, чем при обычном поиске. Это говорит о том, что пользователи более глубоко взаимодействуют с инструментом, задавая многокомпонентные или последующие вопросы для углубления в тему. Например, можно спросить: «В чем разница между функциями отслеживания сна на умном кольце, смарт-часах и коврике для сна?» и продолжить: «Как меняется частота сердечных сокращений во время глубокого сна?».

Мультимодальное обновление AI Mode доступно через приложение Google на Android и iOS. Оно работает через функцию Google Lens, позволяя пользователям начать с изображения и направлять ИИ с помощью подсказок на естественном языке. Изначально эта функция была доступна только пользователям Google One AI Premium, но теперь она стала доступна более широкому кругу пользователей через Search Labs.