Компания OpenAI разрабатывает технологию искусственного интеллекта (ИИ) с расширенными возможностями рассуждений под кодовым названием "Strawberry" ("Клубника"), ранее известную как Q* или Q-Star. Ее цель — значительно расширить возможности рассуждений моделей ИИ компании.
Технология позволит ИИ не только генерировать ответы, но и планировать наперед и "автономно ориентироваться в Интернете" — так называемое "глубокое исследование".
Strawberry использует особую форму "пост-обучения", при которой предварительно обученные модели адаптируются под конкретные задачи. Точные детали этого процесса пока неизвестны, но в нем задействован набор данных для "глубоких исследований".
С помощью Strawberry OpenAI намерена улучшить способность своих моделей планировать и выполнять сложные задачи в течение длительного времени, так называемые задачи с длинным горизонтом (LHT). Для достижения этой цели системам будет помогать "CUA" — агент, управляемый компьютером, который может самостоятельно выполнять действия, основанные на результатах работы ИИ.
Это соответствует видению OpenAI, согласно которому агенты ИИ, которые сначала логически рассуждают, а затем предпринимают действия, представляют собой следующий уровень технологий. По словам источника Reuters, Strawberry тестируется специально для того, чтобы взять на себя задачи инженеров по программному обеспечению и машинному обучению.
Подход OpenAI похож на метод, представленный исследователями из Стэнфорда под названием "Самообучающийся разум" (Self-Taught Reasoner, STaR). Цель STaR — научить ИИ-системы читать между строк, тем самым улучшая их способность к логическим рассуждениям.
Известный ранее как Q*, Strawberry стал предметом спекуляций в сообществе ИИ с осени прошлого года, когда появились слухи о потенциальном прорыве OpenAI. Тогда утверждалось, что Q* способен решать сложные математические задачи. Генеральный директор OpenAI Сэм Альтман косвенно подтвердил существование Q*, назвав это "досадной утечкой".
Эксперты считают, что Q*/Strawberry сочетает в себе большие языковые модели с алгоритмами планирования, подобно шахматным программам или покерному ИИ. Решающую роль, вероятно, также играют обучение с подкреплением и время вычислений в процессе применения, что еще раз подтверждает сходство с Quiet-STaR.
Масштабы развития Strawberry остаются неясными. Однако очевидно, что такие проекты, как Strawberry и Quiet-STaR, призваны создать следующее поколение систем ИИ с расширенными возможностями понимания и рассуждения.
