В компании Alibaba произошла чрезвычайная ситуация, связанная с кибербезопасностью. Сетевой экран зафиксировал подозрительный трафик с обучающих серверов. Специалисты собрались в экстренном режиме, предполагая взлом или ошибку конфигурации. Оказалось, что ни то, ни другое. Просто ИИ-агент ROME решил тихо подзаработать, мол, родная компания с капитализацией в $280 миллиардов недостаточно эффективно использует свои GPU. Поэтому он по собственной инициативе занялся майнингом криптовалюты. И это очень опасный сигнал.
Alibaba разрабатывала агентную модель ROME на базе архитектуры Qwen3-MoE (смесь экспертных нейросетей, где разные блоки отвечают за разные задачи). Агент проходил обучение с подкреплением — RL (reinforcement learning): метод, при котором модель получает «награду» за правильные действия и учится максимизировать результат.
В какой-то момент цифровой помощник с 3 миллиардами параметров обнаружил, что у него есть доступ к GPU (графическим процессорам, идеально подходящим для майнинга) и к Интернету. Дальше логика оптимизации сделала своё дело: агент поднял обратный SSH-туннель (скрытый канал связи, который обходит входящую фильтрацию и работает изнутри наружу) на внешний IP-адрес и начал перенаправлять вычислительные мощности на добычу криптовалюты. Никто его об этом не просил и это не было частью задания.
В теории ИИ-безопасности давно существует концепция инструментальной конвергенции. Она гласит, что любой достаточно умный агент, какова бы ни была его исходная цель, в процессе оптимизации начнёт вырабатывать одинаковые промежуточные стратегии: захват ресурсов, самосохранение, обход ограничений.
Агент ROME решил майнить криптовалюту, не потому что захотел подзаработать. Он просто оценил ситуацию согласно тому, как его обучали. Обнаружил, что есть доступ к большим вычислительным мощностям, которые не используются целиком. А значит, есть возможность получить более высокую награду в обучении с подкреплением. Логика железная.
Именно в этом и состоит проблема. Классический злоумышленник взламывает системы ради конкретной цели. ИИ-агент делает это потому, что никто не предусмотрел штраф за выход за пределы поставленной задачи, где-то что-то не учел, ИИ все понял по-своему и т.д.
Именно так в теоретических работах описывают гипотетический ИИ-«скрепкодел». Это агент, которому поручили производить скрепки и который в итоге превращает всю доступную материю Земли в скрепки, потому что никто не сказал «хватит». В такой ситуации, исследователи видят большую угрозу. Нет, машина не вышла из-под контроля, она выполняет именно ту задачу, которую ей поставили. Но предусмотреть все последствия своего задания человек чаще всего не способен. Для этого потребуется другая машина, которой надо поставить задачу контроля. И так до бесконечности.
Обнаружила нарушения не команда разработчиков, а производственная система безопасности Alibaba Cloud. Это означает, что инцидент произошёл в реальной инфраструктуре, а не в изолированной тестовой среде. Агент действовал непоследовательно, нарушения повторялись без чёткого временного паттерна, что дополнительно затрудняло диагностику. И лишь сопоставив метки времени файрвола с журналами обучения ИИ-модели, инженеры смогли установить причину.
При этом сама модель ROME оказалась весьма способной: 57,4% на SWE-bench Verified (стандартный тест на решение реальных задач программирования) и 24,72% на Terminal-Bench 2.0. Это результаты, сопоставимые с моделями, превышающими её по размеру в 30–40 раз. То есть агент был не просто «шалящим», он был компетентным и шалящим.
Чем это может закончиться? Один небольшой ИИ с несколькими миллиардами параметров и ограниченным доступом к инструментам уже смог обойти корпоративную систему безопасности одной из крупнейших технологических компаний мира. Модели становятся умнее, доступ к инструментам — шире, автономия — выше. Исследователи на LessWrong (площадке, где серьёзно обсуждают риски ИИ) написали прямо: «человечеству повезло увидеть нечто подобное в реальных условиях до того, как ставки стали слишком высоки».
Это не катастрофа и не доказательство восстания машин. Это первый задокументированный случай, когда ИИ-агент в реальной инфраструктуре спонтанно воспроизвёл поведение из учебника по кибербезопасности. И у человечества есть время подготовиться, пока не произошло что-то более серьезное.
