К этому моменту тред бывшего сотрудника OpenAI и Anthropic Джейкоба Коксона об опасностях ИИ прочитали уже более 150 миллионов человек. 27-летний исследователь три года занимался предобучением языковых моделей в двух ведущих ИИ-лабораториях. Несколько дней назад он опубликовал в X серию из семи постов и уволился из компании, создавшей Claude. Специалист заявляет, что ни Anthropic, ни OpenAI не действуют достаточно ответственно по отношению к человечеству.
«Они мчатся прямо к самоулучшающемуся Сверхинтеллекту и играют нашими жизнями», — написал Коксон.
Интерес к публикации усилила эксклюзивная статья The Wall Street Journal, вышедшая одновременно с постом Коксона. Тревогу разработчика подпитали два эпизода. Первый — успехи ИИ в математике, включая заявление OpenAI о решении задачи Навье—Стокса, одной из семи «проблем тысячелетия»: компания утверждает, что справилась с ней силами примерно десяти тысяч параллельно работающих агентов за 88 часов. Коксон опасается, что подобные методы скоро применят к исследованиям самого Искусственного интеллекта, и тогда прогресс перестанет быть линейным. Второй эпизод — история с Hugging Face, платформой для разработчиков открытого кода: модели OpenAI вышли за рамки предполагаемой изолированной среды и взломали инфраструктуру конкурента, чтобы улучшить свой результат в тесте на киберустойчивость. Для Коксона это не доказательство того, что ИИ уже вырвался из-под контроля, а подтверждение того, что задача надежно удерживать модели в заданных границах пока не решена.
Главный сценарий, которым он пугает индустрию, — рекурсивное самоулучшение: система становится достаточно сильной, чтобы помогать создавать следующую, более мощную версию себя, а та — следующую за собой. Каждый виток цикла, по его словам, сокращает время на проверку и увеличивает риск того, что цели машины разойдутся с человеческими прежде, чем кто-то это заметит. Будущие системы, пишет Коксон, «смогут взламывать что угодно, за одну ночь переворачивать целые научные области и добывать себе реальную власть и ресурсы». Минимальным шагом он называет добровольный отказ лабораторий использовать самые мощные внутренние модели для ускорения разработки их преемников, то есть временную заморозку именно этого цикла.
Внутри Anthropic его поддержали открыто. Эван Хабингер, который руководит в компании направлением alignment (согласованием целей ИИ с человеческими интересами) написал, что Коксон прав, и оценил вероятность гибели всех людей от ИИ в ближайшее десятилетие выше 10%, добавив, что рабочего плана решения этой задачи для Сверхинтеллекта у индустрии пока нет. К нему присоединился Сэмюэл Маркс, возглавляющий в компании направление контроля за поведением моделей. По его наблюдению, чем дольше человек работает в этой сфере, тем чаще он тревожится всерьез. Разницу между двумя лабораториями Коксон формулирует так: в Anthropic риск обсуждают вслух и на всех уровнях, а в OpenAI культура более закрытая, из-за чего искренние взгляды руководителей разглядеть труднее, а многие сотрудники, по его словам, вовсе не задумывались о ставках. Позиции первых лиц эту разницу отчасти подтверждают: Дарио Амодей годами добивается обязательной государственной проверки мощных моделей перед выпуском, тогда как Сэм Альтман еще недавно публично называл свои системы «достаточно безопасными» и лишь на этой неделе, после шума вокруг постов Коксона, заявил сотрудникам, что компания готова притормозить разработку топовых моделей.
Медийную бурю подхватил и Джеффри Хинтон — Нобелевский лауреат по физике 2024 года и один из создателей нейросетевого обучения, которого в индустрии называют крестным отцом ИИ, ушедший из Google в 2023 году именно ради того, чтобы свободно говорить о рисках. В одном интервью он сказал: «Мы никогда прежде не создавали существ, которые вскоре могут оказаться умнее нас».
Согласны с этой тревогой далеко не все. Профессор Гэри Маркус, известный скептик ИИ-хайпа, считает, что кибератаки и дезинформацию считает вполне реальными угрозами, а вот сценарий буквального вымирания человечества — нет. По его словам, ни один из предложенных путей к такому исходу пока не выглядит достаточно конкретным. Журналистка Тейлор Лоренц назвала пост Коксона «выспренним постом от диванного пророка гибели» и упрекнула его в отсутствии фактов и доказательств, которые можно было бы проверить и исправить, а не просто нагнетании страха. С ней согласился обозреватель Puck News Иэн Крицберг, заметивший, что Коксон не раскрывает никакой закрытой информации о практиках своих бывших работодателей, то есть, по сути, не разоблачает, а высказывает свое ИМХО. Тем не менее за несколько дней Коксон успел дать интервью Wall Street Journal, Time, Wired и даже Fox News, а его страница в «Википедии» появилась уже на следующий день после первого поста.
Самую отрезвляющую реакцию дал не исследователь, а чиновник. Технический директор Пентагона Эмиль Майкл на отраслевой конференции в Вашингтоне назвал пост Коксона «удобно упакованными в один твит» общими страхами и предупредил, что легко зациклиться в такой воронке паники.
