Компания AI21 выпустила семейство моделей Jamba 1.5, устанавливающее новый стандарт для моделей ИИ с длинным контекстом. Две из них, Jamba 1.5 Mini и Jamba 1.5 Large, призваны обеспечить беспрецедентную скорость, эффективность и производительность для корпоративных ИИ-приложений.
В основе этих моделей лежит гибридная архитектура SSM-Transformer, которая сочетает в себе слои Transformer и Mamba с подходом Mixture-of-Experts. Эта инновационная конструкция позволяет моделям Jamba обрабатывать огромные объемы информации с исключительной скоростью и точностью. Модели Jamba в 2,5 раза быстрее конкурентов в своем классе, что делает их идеальными для задач, требующих обработки больших объемов данных, таких как финансовый анализ, обобщение документов и приложения для обслуживания клиентов.
Отличительной особенностью семейства Jamba 1.5 является впечатляющее контекстное окно объемом 256 Кбайт (около 800 страниц текста), которое на сегодняшний день является самым большим среди открытых моделей. Такой обширный контекст позволяет моделям справляться со сложными задачами, такими как анализ документов и многоступенчатые рассуждения.
Jamba 1.5 Mini — самая сильная открытая модель в своем размерном классе, получившая 46,1 балла в бенчмарке Arena Hard и опередившая такие крупные модели, как Mixtral 8x22B и Command-R+. Jamba 1.5 Large, набрав 65,4 балла, опережает Llama 3.1 70B и 405B.
Модели Jamba 1.5 разработаны с учетом пожеланий разработчиков и поддерживают такие возможности, как вызов функций, режим JSON и структурированные объекты документов. Это делает их особенно подходящими для создания агентных систем ИИ и рабочих процессов с расширенным поиском и генерацией.
Модели Jamba 1.5 доступны на различных платформах, включая AI21 Studio, Google Cloud Vertex AI, Microsoft Azure и NVIDIA NIM, планируется более широкое распространение на Amazon Bedrock, Databricks и других крупных провайдерах. Модели также доступны для частных локальных развертываний. Такая доступность должна позволить разработчикам быстро интегрировать эти модели в свои системы, используя такие знакомые инструменты, как LangChain и Hugging Face.
