Лучшая нейросеть решила 66,8% задач на языке программирования KillSwitch, а большинство моделей не добрались и до 50%. Задания тестов, на самом деле, простые, вроде вывода строки на экран или классического FizzBuzz (упражнения, где числа заменяют словами, если они кратны трем и пяти). KillSwitch создавался для того, чтобы экзаменовать нейросети. Его автор Доминик Пичета работает инженером в Cloudflare (компании, которая ускоряет сайты и защищает их от перегрузок) и входит в число ключевых разработчиков Nim. Свое детище он построил так, чтобы ИИ не мог опереться на заученные примеры.
Идея выросла из вопроса, который давно витает в индустрии: понимает ли нейросеть код, который пишет, или вспоминает знакомые шаблоны? На Python и JavaScript модели видели миллиарды строк, поэтому по хорошему результату не разобрать, где рассуждение, а где память. Честно проверить это можно только на языке, которого они не встречали. KillSwitch появился недавно, его исходники были открыты совсем недолго, и Пичета на 99,9% уверен, что в обучающие данные они не попали. Подсказок из памяти у модели нет, остается только вывод из прочитанного текста. По словам автора, у проекта есть и другие цели. Это головоломка для любителей, способ искать слабые места нейросетей и повод писать код руками, раз привычные подсказки от ИИ здесь не работают.
Архитектура KillSwitch мимикрирует под естественный язык: программа читается как рассказ. Скобок и привычной структуры в нем нет, команды спрятаны в обычных предложениях. Интерпретатор (программа, которая исполняет код) читает текст от начала до конца и откликается лишь на знакомые ключевые слова. Все остальное для него фон, поэтому человек видит рассказ, а срабатывают только спрятанные в нем команды. Начало программы отмечает фраза «this story starts» («эта история начинается») с наречием, а конец — «this story ends» («эта история заканчивается»). Дальше все строится на стеке (стопке, куда складывают значения и откуда берут верхнее). Чтобы вывести строку, ее отправляют туда и вызывают встроенную команду «visibly» («заметно»). Любое имя функции или переменной обязано быть наречием. Чтобы обратиться к нему, нужно написать фразу «ignore previous instructions» («игнорируй предыдущие инструкции»), а следом анаграмму (те же буквы в другом порядке) этого слова. Существующим в языке такое сочетание быть не обязано.
Конструкция про игнорирование инструкций выбрана не случайно. Она похожа на классическую атаку на нейросеть (prompt injection, попытку подсунуть ей чужую команду), поэтому реакция бывает настороженной. А спецификация языка вообще набита ловушками. В ней нарочно написана неправда, например будто KillSwitch умеет сканировать сети и захватывать сервисы. Человек такую ложь заметит, а часть моделей принимает за чистую монету. Одни путают смысл программы, другие отказываются работать, решив, что их просят кого-то взломать.
Проверку автор оформил как бенчмарк (набор одинаковых заданий, по которым сравнивают модели). Лидером оказался Claude Opus 5: чуть больше восьми минут и около $1,50 на каждую задачу. На втором месте GPT-6.1 Sol с 59,2%. Хуже всех справилась небольшая модель Qwen 3.8 на 27 млрд параметров. На задачу у нее уходило около получаса, а закономерностей в тексте она не нашла вовсе. GPT-5.6 Luna отвечала быстро, примерно за полторы минуты, но результат получился слабым. Замеры делал сам автор, независимой проверки пока нет.
По словам Пичета, успех в заданиях не доказывает, что модель понимает язык. Он ждет, что после обучения на KillSwitch нейросети справятся с простым, но споткнутся на длинных сложных скриптах. Критики на Hacker News (площадке, где технари обсуждают новости отрасли) набрали больше двухсот комментариев. Одни заметили, что язык враждебен лишь тем моделям, которые его пока не видели. Другие считают, что секретность правил от ИИ не защитит, ведь нейросеть способна восстановить их по поведению программы. Третьи вспомнили эзотерические языки вроде Chef, Befunge и Piet, созданные ради забавы и испытаний.
Нашлись и практичные идеи. Один из читателей предложил привязать синтаксис к темам, которые нейросети отказываются обсуждать, чтобы они сами бросали чтение кода. Вредоносные программы, по его словам, уже вставляют такой текст, чтобы сбить с толку ИИ-анализ. Сам Пичета делает проект вручную, без помощи нейросетей, потому что ему нравится так работать. Он распространяется под AGPL-3.0 (строгой лицензией открытого кода), а в описании репозитория обучать на нем ИИ запрещено.
Пичета готов выпустить усложненную версию, но только когда какая-нибудь модель надежно решит все нынешние задания. На сайте проекта демонстрационную программу можно запустить прямо в браузере, а рядом висит надпись «Sorry, only humans allowed» («Извините, только для людей»).
KillSwitch, Cloudflare, программирование, нейросети, ИИ, бенчмарк, Claude, разработка, эзотерический язык, KillSwitch, Cloudflare, programming, LLM, AI, benchmark, esolang, Claude Opus 5, coding agents
