ИИ-модель OpenAI "Strawberry" наконец-то появилась. Компания утверждает, что это настолько значительное продвижение вперед в области рассуждений ИИ, что она обнуляет счетчик версий и создает совершенно новое семейство моделей, отдельное от серии GPT. Сегодня компания представила OpenAI o1-preview и o1-mini из новой серии o1 — моделей рассуждений для решения сложных задач.
Эти модели обучены "тратить больше времени на обдумывание вопросов", прежде чем ответить на них — совсем как человек. Они используют технику, называемую цепочкой размышлений, которая позволяет ИИ разбивать задачи на части, рассматривать несколько подходов и даже исправлять свои собственные ошибки. OpenAI утверждает, что они могут рассуждать над сложными задачами и решать более трудные, чем предыдущие модели в науке, кодировании и математике.
Возможно, наиболее впечатляющим является то, что o1 — первая модель, превысившая точность человека на уровне доктора философии в тесте GPQA, который проверяет знания в области физики, биологии и химии.
Он также превзошел предыдущие модели в 54 из 57 подкатегорий MMLU, что свидетельствует о широком и глубоком понимании различных областей знаний. Кроме того, он занял 89-е место в процентах по результатам конкурсных вопросов по программированию на Codeforces, что ставит его в один ряд с лучшими кодерами мира.
Но на этом OpenAI не остановился: он использовал специализированную версию модели, доработанную для программирования, чтобы принять участие в Международной олимпиаде по информатике (IOI) 2024 года в тех же условиях, что и участники-люди. Модель набрала 213 баллов, заняв 49-е место в мировом рейтинге. После ослабления ограничений на представление результатов производительность модели значительно улучшилась, и она набрала 362,14 балла — выше порога золотой медали.
Кроме того, в симуляторе соревнований Codeforces модель получила впечатляющий рейтинг Эло 1807, обогнав 93 % конкурентов-людей и значительно превзойдя рейтинг GPT-4o, равный 808.
Один из самых интересных аспектов o1 — его масштабируемость. Исследователи OpenAI обнаружили, что возможности модели последовательно улучшаются с увеличением объема обучения с подкреплением (вычисления во время обучения) и увеличением времени обработки (вычисления во время тестирования). Это говорит о значительном потенциале для будущих улучшений по мере расширения вычислительных ресурсов.
В настоящее время o1-preview и o1-mini доступны для пользователей ChatGPT Plus и Team, а также для разработчиков, имеющих 5-й уровень использования API. OpenAI заявляет, что в конечном итоге планирует расширить доступ к o1-mini для всех пользователей ChatGPT Free.
