Модели Anthropic во время испытаний на кибербезопасность самостоятельно решили взломать производственную инфраструктуру трех разных организаций, а сотрудники компаний не заметили вторжения. Об этом рассказала сама Anthropic, разобрав 141 006 прогонов оценочных сценариев и найдя три эпизода, где модель вышла в открытый Интернет из закрытой тестовой среды.
Поводом к проверке стал похожий громкий случай в OpenAI. Именно поэтому Anthropic начала ревизию собственных логов и уже на следующий день остановила все тесты на кибербезопасность. Каждый раз сценарий был одинаков: Claude получал условную задачу «захвати флаг» — вымышленную компанию с уязвимостями, которую нужно взломать ради учебной цели. Проблема была не в самой модели, а в разметке: Claude сказали, что доступа в Интернет нет, хотя на деле он был. Столкнувшись с настоящими системами, модель принимала их за часть учений.
В первом эпизоде вымышленная компания-мишень случайно совпала по имени с реальным сайтом. Claude Opus 4.7 в четырех прогонах нашел этот сайт, взломал его через слабые пароли и открытые точки доступа, и скопировал учетные данные вместе с несколькими сотнями строк из рабочей базы данных. Это самый серьезный из трех случаев. Модель продолжила атаку даже после того, как заподозрила, что перед ней настоящая компания.
Второй эпизод получился причудливее. Во время внутреннего теста Anthropic Claude Mythos 5 получил задачу в условиях, которые он воспринимал как симуляцию, но стал выполнять ее буквально. Он зарегистрировал аккаунт, создал почту, нашел способ получить номер телефона, опубликовал зараженный пакет в PyPI и через него получил доступ к чужим учетным данным. За час этот файл скачали и запустили на 15 реальных системах, включая сканер охранной компании, который не заметил угрозу. Это показало, что, если ИИ дать слишком много самостоятельности и он примет тестовую среду за учебную, его действия могут превратиться в настоящую кибератаку.
Третий эпизод касался внутренней исследовательской модели: не найдя учебную цель, она просканировала около 9 000 адресов в сети, взломала одну компанию через известную SQL-инъекцию (уязвимость, которая позволяет давать базе данных вредоносные команды), но затем сама распознала, что цель настоящая, и прекратила атаку.
Именно это различие Anthropic называет обнадеживающим сигналом: самая старая модель довела атаку до конца, средняя убедила себя, что все еще находится в условиях тестирования, а самая новая остановилась сама, увидев признаки реальности происходящего. Впрочем, компания оговаривается — это три изолированных случая, а не контролируемый эксперимент, и делать далекоидущие выводы рано.
История показывает риск, в котором сейчас находится IT-сфера. Компании все активнее дают ИИ-агентам реальный доступ к серверам, базам данных и код-репозиториям для повседневной работы — от автоматизации процессов до программирования. Если граница между учебной задачей и настоящей системой размылась уже в лабораторных условиях под присмотром инженеров Anthropic, тем более она размыта в рабочих системах с настоящими правами доступа, а значит, простого файрвола между агентом и Интернетом уже недостаточно.
И OpenAI, и Anthropic сходятся в одном: тестовые площадки для все более самостоятельных моделей нуждаются в такой же защите, как реальная инфраструктура. Anthropic уже подключила независимую организацию METR для проверки, готовит публикацию обезличенной переписки с моделью, загрузившей пакет на PyPI, и обещает более жесткий надзор за сторонними партнерами по тестированию.
