Компания Inflection, базирующаяся в Пало-Альто, объявила о завершении разработки Inflection-2 — новой большой языковой модели, которая, по утверждению компании, является "второй по возможностям в мире на сегодняшний день", уступая лишь GPT-4 от OpenAI.
Inflection утверждает, что ее новая языковая модель достигла самой высокой производительности в ряде эталонов NLP, опередив модели от Google, Meta и других компаний. По словам генерального директора компании Мустафы Сулеймана, Inflection-2 демонстрирует "существенно улучшенные возможности" по сравнению с предыдущей моделью компании: более глубокое знание фактов, способность к рассуждению и стилистический контроль.
Стартап протестировал Inflection-2 на эталонах, измеряющих различные навыки — от здравого смысла до математического мышления. Она превзошла PaLM 2 Large, наиболее продвинутую публичную модель Google, в 6 из 7 научных наборов данных, а также LLaMA 2, модель Meta с открытым исходным кодом, в нескольких других тестах. Сулейман отметил, что кодирование и математическое мышление не были явно ориентированы на обучение, однако Inflection-2 все же продемонстрировала многообещающие способности в этой области.
По словам представителей Inflection, оптимизация эффективности позволит в скором времени использовать Inflection-2 в качестве источника питания для Pi, персонального ИИ-чат-бота компании. Сулейман считает, что Inflection находится на передовой "кривой масштабирования" ИИ, прогнозируя появление моделей в 10 и даже 100 раз больше в течение года.
Модель Inflection-2 была обучена на 5 000 графических процессорах NVIDIA H100 в режиме fp8 смешанной точности с производительностью ~10²⁵ FLOPs. Теперь компания планирует экспоненциальное масштабирование моделей, рассчитывая обучать еще более крупные модели на всей мощности кластера, состоящего из 22 000 GPU.
Появление Inflection-2 обещает обострить конкуренцию в "горячем" пространстве ИИ. Если Inflection удастся добиться впечатляющих результатов в работе чат-бота Pi, то он станет серьезным конкурентом GPT-4 от OpenAI.
