Компания Google представила новое экспериментальное приложение под названием AI Edge Gallery, предназначенное для локального запуска больших языковых моделей (LLM) на устройствах Android — без необходимости подключения к Интернету. Хотя оно еще не появилось в Google Play Store, APK доступен для загрузки через GitHub, а версия для iOS, как сообщается, находится в разработке.

В отличие от облачных ИИ-инструментов Google, таких как Gemini, AI Edge Gallery ориентирован на конфиденциальность и автономное взаимодействие ИИ, что делает его полезным инструментом для пользователей, которые хотят получить генеративный ИИ, не полагаясь на удаленные серверы и не жертвуя личными данными.

Приложение предлагает три основные функции: «Ask Image», «Prompt Lab» и «AI Chat». Эти инструменты позволяют пользователям взаимодействовать с разлиными LLM в режиме реального времени. AI Chat функционирует так же, как и другие чат-боты, но вся обработка происходит непосредственно на вашем устройстве.

На старте пользователям необходимо будет загружать модели по отдельности — большинство из них доступны через Hugging Face. В их числе:

— Gemma-3n-E2B-it-int4

— Gemma-3n-E4B-it-int4

— Gemma3-1B-IT q4

— QWEN2.5-1.5B-Instruct q8

Вы также можете вручную импортировать дополнительные модели, нажав на значок «+» и выбрав локальные файлы. Производительность приложения зависит от аппаратного обеспечения вашего устройства, и поддерживается ускорение как на CPU, так и на GPU. Примечательно, что Google использует собственный движок LiteRT (Lite Runtime) для оптимизации выполнения моделей, достигая баланса между производительностью, эффективностью использования батареи и тепловым режимом.

Однако есть несколько компромиссов. Запуск LLM в автономном режиме требует значительных ресурсов от мобильного процессора, поэтому производительность может оказаться ниже, чем у облачных ИИ-помощников. Кроме того, вам потребуется достаточно свободного места для хранения данных: модели могут занимать от 500 МБ до более 4 ГБ, и, в отличие от таких приложений, как ChatGPT или Gemini, все данные хранятся локально, что может создать нагрузку на устройства с ограниченной памятью.

В настоящее время нишевая привлекательность этого приложения заключается в том, что оно акцентировано на конфиденциальности, настройках и автономном доступе. Это делает его идеальным инструментом для разработчиков, тестирующих модели, а также для пользователей в регионах с ограниченной связью, которые все еще хотят иметь доступ к мощи ИИ.