В Казахстане Институт умных систем и искусственного интеллекта (ISSAI) разработал модель ISSAI KAZ-LLM, поддерживающую казахский, русский, английский и турецкий языки. Эта модель направлена на улучшение качества жизни, экономическое развитие Казахстана и сохранение культурного наследия страны.

Для обучения модели ISSAI KAZ-LLM было собрано более 150 миллиардов токенов на четырех языках, 95% которых были подготовлены командой ISSAI. Токены были извлечены из общедоступных источников, таких как казахские веб-сайты, новостные статьи и онлайн-библиотеки. Дополнительно, высококачественный английский контент был переведен на казахский язык. Также использовались данные, предоставленные различными организациями. Обучение проводилось на восьми облачных серверах NVIDIA DGX H100, и были созданы две версии модели: с 8 миллиардами и 70 миллиардами параметров. Также были разработаны 4-битные квантизированные версии для использования в средах с ограниченными ресурсами.

10 декабря 2024 года модели были выпущены как модели с открытым исходным кодом для некоммерческого использования под лицензией CC-BY-NC. Они доступны в публичном репозитории на Hugging Face и могут быть использованы для научных и академических целей.

Для оценки производительности моделей были адаптированы бенчмарки, включая ARC, GSM8K, HellaSwag, MMLU, Winogrande и DROP. Модель ISSAI KAZ-LLM с 70 миллиардами параметров показывает высокие результаты на казахском языке и сильные результаты на русском и английском языках, приближаясь к показателям моделей OpenAI.

В будущем ISSAI планирует усовершенствовать ISSAI KAZ-LLM, а также разработать передовые ИИ-модели, отвечающие потребностям населения, и интегрировать в них языковые и визуальные данные. Также рассматривается поддержка других тюркских языков для укрепления связей между тюркоязычными сообществами. В сотрудничестве с технологическими партнерами будут разрабатываться ИИ-продукты и услуги, приносящие пользу народу Казахстана и способствующие экономическому росту.