Оценка ИИ-помощников, таких как GitHub Copilot, является сложной задачей для разработчиков, поскольку качество взаимодействия человека и ИИ трудно оценить из-за разнообразия задач и сложности разговоров.

Исследователи Microsoft представили RUBICON — методику автоматической оценки качества таких разговоров, специфичных для конкретной области. Аббревиатура RUBICON расшифровывается как "Rubric-based Evaluation of Domain Specific Human-AI Conversations" и была представлена на конференции AIware 2024.

Система состоит из трех основных компонентов: генерации критериев оценки, выбора наиболее релевантных критериев и собственно оценки разговоров. Для создания критериев RUBICON сначала анализирует обучающую базу данных разговоров, помеченных как положительные или отрицательные. Затем он выявляет закономерности, указывающие на удовлетворенность или неудовлетворенность пользователей.

В отличие от предыдущих подходов, RUBICON включает в себя принципы эффективной коммуникации, такие как разговорные максимы Грайса (которые отражают четыре измерения эффективности разговора: количество, качество, уместность и манера), и знания, специфичные для конкретной области.

Это позволяет адаптировать генерируемые критерии к конкретной области применения. На втором этапе RUBICON использует итерационный процесс для выбора подмножества сгенерированных критериев, которые лучше всего отличают положительные разговоры от отрицательных. Наконец, большая языковая модель оценивает тестируемые разговоры на основе выбранных критериев и определенного порога.

Исследователи оценили RUBICON на примере 100 разговоров между разработчиками и ИИ-ассистентом при отладке на C#. Результаты показали, что критерии, сгенерированные RUBICON, позволяют значительно лучше различать положительные и отрицательные разговоры, чем критерии предыдущих методов или критерии, созданные вручную.

С помощью RUBICON 84 % разговоров можно было классифицировать как положительные или отрицательные с точностью более 90 %. Предыдущие методы достигали максимум 64 %.

По данным Microsoft, RUBICON уже успешно используется в популярной среде разработки крупной софтверной компании для мониторинга двух ИИ-ассистентов.