Компания OpenAI сообщает о новой стратегии борьбы с "галлюцинациями" ChatGPT, в рамках которой модели ИИ будут обучаться вознаграждать себя за каждый правильный шаг рассуждений.

Несмотря на их впечатляющие способности, факт остается фактом: чат-боты ИИ, такие как ChatGPT, очень непредсказуемы и их трудно "приручить" — они достаточно часто сбиваются, выдавая дезинформацию, которую можно описать только как бессмыслицу. Это явление называют "галлюцинациями" ИИ, и компания OpenAI наконец-то объявила, что она в процессе устранения данной проблемы.

Новая стратегия борьбы с "галлюцинациями" заключается в том, что модель вознаграждает себя за каждый правильный шаг рассуждения (" контроль процесса") вместо простого вознаграждения за правильный окончательный ответ ("контроль результата"). Таким образом, "контроль процесса" обеспечивает обратную связь на каждом этапе до получения конечного результата, который выдает ИИ. Пока модели обучаются на математическом наборе данных и уже показал хорошие результаты. Насколько хорошо "контроль процесса" будет работать за пределами точных наук пока неизвестно. Но исследования в других областях так или иначе неизбежны.

По мнению исследователей, наблюдение за процессом может привести к созданию более объяснимого ИИ, поскольку стратегия соответствует человекоподобной цепочке мыслей. OpenAI добавляет, что уменьшение "галлюцинаций" является важным шагом на пути к созданию AGI, или интеллекта, который будет способен понимать мир так же хорошо, как любой человек.

Напомним, что компания OpenAI с самого начала предостерегала пользователей от слепого доверия ChatGPT — в интерфейсе ИИ-бота есть оговорка: "ChatGPT может выдавать неточную информацию о людях, местах или фактах".

Компания еще раз признала эти недостатки в своем отчете: "Даже самые современные модели склонны выдавать ложную информацию - они проявляют тенденцию выдумывать факты в моменты неопределенности. Эти "галлюцинации" особенно проблематичны в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение. Обнаружение и смягчение последствий "галлюцинаций" необходимо для улучшения способности рассуждать".