Mistral и NVIDIA выпустили Mistral NeMo 12B (12 млрд параметров), новую языковую модель, ориентированную на предприятия. Модель отлично справляется с длинными диалогами, математическими задачами и кодированием, способна рассуждать на основе здравого смысла и обладает знаниями и мире. Mistral заявляет о беспрецедентной точности и гибкости модели для различных корпоративных приложений (для чат-ботов, программирования, анализа и обработки данных и прочее).

Mistral NeMo имеет длину контекста 128K, что позволяет обрабатывать сложные и длинные данные более эффективно. Для обучения модели использовалась инфраструктура ИИ NVIDIA, включая 3 072 графических процессора H100 80GB Tensor Core на платформе DGX Cloud AI. 

Mistral NeMo предлагает несколько ключевых преимуществ для корпоративных пользователей:

Универсальность: Выпущенная под лицензией Apache 2.0, она предназначена для замены систем, использующих Mistral 7B.

Эффективность: Используется формат данных FP8 для выводов, что позволяет сократить потребность в памяти и ускорить развертывание без потери точности.

Многоязычные возможности: Превосходно работает на английском, французском, немецком, русском, испанском, итальянском, португальском, китайском, японском, корейском, арабском и хинди языках.

Улучшенная токенизация: Представлен Tekken, новый токенизатор на основе Tiktoken, демонстрирующий рост эффективности на 100+ языках.

Простое развертывание: Упакован как микросервис NVIDIA NIM inference, что позволяет быстро установить его в различных средах.

Аппаратная гибкость: Работает на одном GPU NVIDIA L40S, GeForce RTX 4090 или RTX 4500, обеспечивая баланс между производительностью и стоимостью.

Mistral NeMo доступна уже сейчас на ai.nvidia.com, а загружаемая NIM-версия появится в ближайшее время.