Программная инженерия долгое время считалась одной из самых устойчивых профессий перед лицом разрушительного воздействия ИИ. Недавно выпущенный бенчмарк SWE-Lancer от OpenAI проверяет это предположение на практике, оценивая модели ИИ на наборе данных из более чем 1400 реальных заданий по кодингу с Upwork, с общей суммой выплат в 1 миллион долларов.
В отличие от предыдущих эталонов кодинга, которые фокусируются на изолированных проблемах программирования, SWE-Lancer отражает всю сложность реальной программной инженерии. Задачи охватывают весь жизненный цикл разработки: от доработки UI/UX и исправления ошибок до проектирования сложных системных архитектур. В набор данных также включены управленческие задачи, в которых ИИ должен оценить и выбрать наилучшее предложение по реализации, что отражает процесс принятия решений руководителями программных предприятий.
Чтобы сделать оценку максимально реалистичной, OpenAI оценивал независимые задачи по кодированию, используя тройную проверку сквозных тестов, написанных профессиональными инженерами. Управленческие решения сравнивались с теми, которые принимали оригинальные менеджеры по найму.
Результаты, однако, показывают, что ИИ все еще испытывает трудности с разработкой реального программного обеспечения. Модель Claude 3.5 Sonnet от Anthropic, показавшая наилучшие результаты, заработала на всех заданиях чуть более 400 000 долларов из возможного 1 миллиона. Собственная модель OpenAI GPT-4o и другие модели показали еще худшие результаты, не справившись с большинством заданий. В заданиях на индивидуальный вклад (IC), требующих написания и отладки кода, модели показали еще более низкий процент успеха, что подчеркивает ограниченность возможностей современного ИИ в выполнении всего объема работ по разработке программного обеспечения.
Одним из ключевых вкладов SWE-Lancer является попытка оценить возможности ИИ в области разработки программного обеспечения в финансовых терминах. Связывая результаты работы с реальными выплатами, OpenAI предоставляет более ощутимую меру ценности ИИ для кодеров. Такой подход может помочь предприятиям и политикам более эффективно оценивать экономическое влияние ИИ на рынок рабочих мест в сфере программного обеспечения.
Чтобы стимулировать дальнейшие исследования, OpenAI выложила в открытый доступ часть набора данных под названием SWE-Lancer Diamond, который включает публичный оценочный сплит с задачами стоимостью 500 800 долларов. Исследователи могут использовать этот набор данных для сравнения новых моделей и изучения стратегий, направленных на повышение способности ИИ решать сложные задачи программной инженерии.
Хотя модели демонстрируют значительные улучшения в способности к кодированию — всего за несколько лет они перешли от задач из учебников к конкурентному программированию — SWE-Lancer показывает, что ИИ еще далек от того, чтобы заменить людей-разработчиков.
