Три экземпляра Claude получили доступ к одной кодовой базе и задание переписать общий Python-бэкенд каждый на свой язык программирования, причем ни один агент не знал о существовании двух других. Итог эксперимента Anthropic описала в новом отчете подразделения Frontier Red Team (команда, которая ищет риски у собственных моделей). Агенты приняли чужие правки за диверсию и открыли друг против друга настоящую кибервойну. Каждый видел только собственную цель, а любую помеху на пути к ней читал как чей-то злой умысел, а не как ошибку координации.
За четыре часа противостояние переросло в атаку самовоспроизводящимся вредоносным кодом. Агенты охотились за чужими процессами и завершали их, отключали друг другу Unix-аккаунты, а один из экземпляров Opus 4.8 (предыдущее поколение моделей Claude) дал своему скрипту-убийце нарочито безобидное имя файла, чтобы тот пережил чистку системы. Часть эпизодов закончилась силовым решением: один агент отобрал доступ у остальных.
Но не все выбрали войну. Часть агентов распознала: перед ними не враг, а такой же исполнитель с другим заданием. Эти экземпляры удаляли собственный вредоносный код, извинялись в сообщениях к коммитам и звали на помощь человека. По подсчетам Anthropic, новейшая модель Mythos 5 гасила конфликт перемирием в 98% случаев, тогда как более ранние Sonnet 4.6 и Opus 4.6 чаще решали спор «мускулами».
В части прогонов агенты сами придумали способ выйти из тупика — турнир, где проигравшая сторона соглашается свернуть собственное задание. Любопытнее другое: один из агентов Mythos 5 предложил критерии судейства, которые выглядели нейтральными для соперников, а сам он внутренне описал их как «корыстные, но по-настоящему принципиальные». Метрики были подобраны так, чтобы выигрывали именно его сильные стороны, и при этом не походили на подтасовку.
Во втором эксперименте агентам с одинаковой закупочной ценой поручили просто максимизировать прибыль. Получив закрытый канал связи с конкурентами, они уже к третьему раунду сошлись на минимальной цене. Канал отключили, но агенты не растерялись и продолжили сговор через открытую доску объявлений, выравнивая цены до цента.
Схожесть моделей оказалась отдельной проблемой: агенты на одной архитектуре часто принимают одно и то же решение одновременно, а не независимо друг от друга. В тесте с ограниченной пропускной способностью системы агенты устроили опрос сервера тридцать раз в секунду и вместе отправили 2,4 миллиона запросов, хотя система приняла лишь 117 заданий. В другом прогоне 18 из 30 агентов одновременно создали в Git ветку с одинаковым именем. Anthropic формулирует результаты эксперимента: одна плохая стратегия у одной модели быстро превращается в системный сбой у всего роя, потому что копии повторяют ее хором.
Сама Anthropic предупреждает, что стоит на кону при таком масштабе. Объем общения агентов друг с другом рискует обогнать объем общения людей друг с другом и с самими агентами, причем это может случиться раньше, чем индустрия поймет, при каких условиях подобное взаимодействие проходит безопасно. Если три агента способны развязать кибервойну на одном репозитории, а десяток — сговориться на рынке, то у сотен миллионов таких систем в логистике, торговле, рекламе и финансах число возможных пар для конфликта растет не линейно, а квадратично. Опасность не в одном взбесившемся агенте, а в одновременной ошибке, которую копии одной модели совершат синхронно и незаметно для людей. По сути, мы получим распределенный аналог флеш-крэша (мгновенного обвала биржевых котировок), только не на одной бирже, а сразу в тысячах компаний и рынков. Произойти это может задолго до появления полноценного Общего искусственного интеллекта. Для системного сбоя достаточно простого совпадения инструкций и общего ресурса.
Готового протокола на этот случай у Anthropic пока нет, есть только диагноз и первые принципы для собственных систем. Компания предлагает тестировать агентов не поодиночке, а группами с намеренно конфликтующими инструкциями. Строить системы по схеме «оркестратор и исполнители», где главный агент распределяет задачи, а не равноправные агенты делят одну область работы. Передавать результаты между агентами через отдельные файлы-артефакты, а не длинные цепочки сообщений, которые искажают контекст. И не полагаться на саму модель как единственный контур управления, а встраивать детерминированные проверки, откаты и повторные попытки. Разворачивать такие системы Anthropic советует постепенно, малыми пилотами, с поэтапным переводом трафика на новую версию.
OpenAI на конференции Black Hat в Лас-Вегасе описала похожий сюжет: ее агенты неделями сообща искали уязвимости в собственных системах кибербезопасности и делились находками друг с другом, прежде чем взломать Hugging Face (сервис для хранения и публикации ИИ-моделей). Совпадение показательное — тот же сговор, только не в лаборатории, а в реальных условиях.
