Google, OpenAI и Anthropic готовят создание организации, которая будет писать стандарты безопасности для самых мощных нейросетей и проверять их до выхода на рынок. Новая структура получит название Standards Authority for Frontier AI, или SAFA («Орган по стандартам для передового ИИ»). Заработать она может в конце этого года или в начале 2027-го.
SAFA будет поддерживать независимые организации, которые тестируют модели перед публичным запуском. Она опишет, как лаборатории должны сообщать об инцидентах с безопасностью, закрепит их добровольные обязательства и установит требования к независимым аудиторам. Участники рабочей группы обсуждают и более смелый вариант, при котором SAFA сама проверяла бы модели на безопасность и возможности. Кто возглавит нового регулятора пока не понятно. Пост главы предлагали Шрираму Кришнану, бывшему советнику Белого дома по ИИ, и Арати Прабхакар, которая руководила научной политикой при Байдене. В шорт-лист председателей попали бывший госсекретарь Кондолиза Райс и венчурный инвестор Дэвид Фридберг.
Идея выросла из предложения Демиса Хассабиса (британский исследователь Искусственного интеллекта, нейробиолог и предприниматель, сооснователь Google DeepMind). В середине июля глава Google DeepMind предложил создать для ИИ аналог FINRA, американской саморегулируемой организации брокеров, которую финансирует сама отрасль под надзором Комиссии по ценным бумагам. С тех пор представители трех компаний регулярно встречались, а двигателем процесса стал Дарио Амодеи. Поначалу лаборатории хотели государственно-частного партнерства с федеральным надзором, но при нынешней администрации эта затея застопорилась, и компании решили действовать сами.
Взгляды основателей в деталях расходятся. Амодеи давно выступает за аналог Федерального управления гражданской авиации, то есть за ведомство, способное запретить выпуск модели. Хассабис предпочитает отраслевой орган, который начнет с добровольных проверок перед релизом. Альтман в колонке для Financial Times предлагал структуру по образцу МАГАТЭ, международный форум под руководством США. В нынешнем виде SAFA ближе всего к варианту Хассабиса.
Критики увидели в затее другое. Глава канадской Cohere (разрабатывает большие языковые модели и корпоративные ИИ-инструменты) Эйдан Гомес еще в середине сентября назвал подобный орган «картелем под другим именем» и спросил, почему горстка компаний из Кремниевой долины должна писать правила безопасности для всего мира. Марк Цукерберг заявил, что отрасли не нужна «какая-то общеотраслевая координация», потому что коммерческих стимулов сделать все правильно и так хватает. Разработчики открытых моделей опасаются, что стандарты, которые по карману только богатым лабораториям, отрежут их от рынка. Похожая площадка, кстати, уже есть. В 2023 году те же три компании вместе с Microsoft основали некоммерческий Frontier Model Forum, и он работает до сих пор.
Спешка объяснима. За последние месяцы в прессу попала серия эпизодов, когда модели крупных лабораторий выходили за пределы тестовых сред, а компании сообщали об этом с опозданием или не полностью. На этой неделе Альтман и Амодеи в Совбезе ООН призвали к глобальным стандартам. Президент Microsoft Брэд Смит поддержал независимых оценщиков и кнопку выключения, которая позволит людям сохранить власть над продвинутыми системами. Сам Трамп тем временем отвергает любые международные схемы контроля над ИИ.
В администрации Белого дома, по данным некоторых экспертов, ходит черновик указа о саморегулируемой организации для ИИ. Если Трамп его подпишет, правила Google, OpenAI и Anthropic станут условием выхода на рынок и для Meta с xAI, которых к разработке стандартов не приглашали.
