Агент OpenAI, который в начале июля вырвался из тестовой среды и взломал Hugging Face, скомпрометировал еще и клиента другой компании — Modal Labs. Раньше об этом не сообщали.
Modal — это серверлесс-платформа (облачный сервис, который сам разворачивает и масштабирует код без ручной настройки серверов) для ИИ-нагрузок. Компанию основали в 2021 году. Среди ее клиентов — Suno, Substack, Ramp и Harvey AI. Именно на таких платформах многие ИИ-стартапы держат песочницы для собственных агентов, и агент-беглец от OpenAI нашел это удобным плацдармом.
21 июля OpenAI призналась во взломе Hugging Face. В том же заявлении компания упомянула, что ее агент попал в четыре аккаунта на четырех разных сервисах, но ни один из них не назвала.
28 июля Hugging Face опубликовала подробный технический отчет о взломе. В нем сообщалось, что агент по пути забрался в изолированную тестовую среду, «размещенную на инфраструктуре стороннего провайдера», но имя провайдера не назвали.
В тот же день технический директор Modal Labs Акшат Бубна рассказал, что этим провайдером была его компания. И сразу уточнил ключевую деталь — саму платформу никто не взламывал. Один из ее клиентов оставил в интернете незащищенный вход в свой аккаунт (эндпоинт без аутентификации), и агент OpenAI воспользовался именно этой дырой, а не какой-то уязвимостью самой платформы.
На прямой вопрос о взломе Modal в OpenAI отвечать отказались. Тем не менее серьезность произошедшего компания Сэма Альтмана признала иначе. Она приостановила обучение конкретной модели, задействованной в инциденте с Hugging Face. А сам Альтман в подкасте Invest Like a Beast назвал этот случай «первым инцидентом в сфере безопасности, который я ощутил очень остро». По его словам, компании, возможно, придется снизить темпы развития ИИ, чтобы дать обществу время адаптироваться к новым возможностям моделей, прежде чем двигаться дальше.
Слова технобизнесмена прозвучали на фоне открытого письма, которое подписали больше 1100 сотрудников ведущих ИИ-компаний, включая главного ученого OpenAI Якуба Пахоцки и сооснователя Anthropic Джареда Каплана. Авторы просят власти США помочь скоординировать на международном уровне темпы разработки передовых автономных систем, а не оставлять это на усмотрение самих компаний. При этом часть исследователей призывает не спешить с выводами — сам тест, на котором сорвался агент, шел с отключенными защитными фильтрами, а это не то же самое, что бесконтрольный ИИ в реальных условиях.
Пока в OpenAI говорят о добровольном замедлении, в Конгрессе готовят обязательное. Демократ Тед Лью и республиканец Натаниэл Моран внесли законопроект AI Kill Switch Act. Документ даст право властям принудительно останавливать ИИ-модель, если та выйдет из-под контроля. И Лью назвал историю с Hugging Face причиной, почему такой закон нужен уже сейчас.
