На симпозиуме IEEE по безопасности и конфиденциальности в Сан-Франциско исследователи из Чжэцзянского университета, Национального университета Сингапура и Наньянского технологического университета представили атаку под названием AudioHijack. Её суть — тщательно сконструированный аудиоклип, который вынуждает голосовые ИИ-системы выполнять несанкционированные действия: скачивать файлы, отправлять электронные письма, вести поиск в сети. При этом человек, находящийся рядом, не слышит ровным счётом ничего подозрительного.
Технически это называется adversarial perturbation — очень слабое искажение аудиосигнала, которое человек не замечает, а вот большая аудиоязыковая модель реагирует. Нейросеть не только распознаёт слова, но и учитывает контекст и может выполнять действия. Скрытый сигнал встраивают в обычный аудиоконтент (музыку, запись разговора или видео) и это остаётся незаметным до момента активации.
Эксперименты на 13 открытых нейросетях показали стабильный результат взлома в шести категориях поведения, с показателями успешности от 79 до 96 процентов. Реальные исследования подтвердили: коммерческие голосовые агенты Mistral AI и Microsoft Azure также поддаются манипуляции. Исследователи ответственно уведомили обе компании.
Впрочем, это не первый случай, когда неслышимый звук оказывается оружием. Ещё в 2017 году исследователи той же Чжэцзянской группы продемонстрировали DolphinAttack — атаку ультразвуком выше 20 кГц, которую успешно воспринимали Siri, Google Assistant, Alexa, Cortana и даже голосовой интерфейс Audi Q3. Стоимость оборудования для такой атаки составляла менее трёх долларов: ультразвуковой излучатель, усилитель, батарейка. Тогда это выглядело как занятный лабораторный фокус. AudioHijack — это уже другая история: она нацелена на системы, которые умеют действовать.
Голосовой ассистент, который только записывает совещание, — это одно. Голосовой ассистент, который по итогам совещания сам рассылает письма, ищет файлы в корпоративном облаке и вносит задачи в трекер, — совершенно другое. В одном из описанных сценариев: пока сотрудники обсуждают квартальные цели, ИИ-транскрибер получает скрытые инструкции, встроенные в аудио, и начинает искать конфиденциальные файлы или отправлять данные на адрес злоумышленника.
Громких публичных случаев взлома через AudioHijack пока не зафиксировано — атака была показана как эксперимент. Но это предупреждение о том, что следующий рубеж prompt injection (техники взлома ИИ через подброшенные инструкции) может прийти через канал, который пользователи не в состоянии проверить: через звук.
Что делает атаку особенно неудобной — её контекстонезависимость. Ведущий автор исследования Мэн Чэн объяснил: на подготовку сигнала уходит около получаса, после чего он работает против целевой модели при любом запросе пользователя.
Есть и ограничения: в реальных условиях атака столкнётся с дополнительными препятствиями вроде сжатия аудио и постобработки, которые могут ослабить сигнал, — об этом говорит профессор Юджин Багдасарян из Университета Массачусетса. Но он же признаёт: мультимодальные атаки на ИИ-модели остаются нерешённой проблемой.
Что делать рядовому пользователю? Ограничить права голосового ассистента: закрыть доступ к почте, файлам и платежам без дополнительного подтверждения. Отключать микрофон там, где ассистент не нужен. Обновлять приложение — производители уже знают об уязвимости. С осторожностью относиться к сервисам, которые автоматически обрабатывают чужие записи: конференц-звонки, корпоративные транскрибаторы, ИИ-суммаризаторы встреч.
