Исследовательский институт искусственного интеллекта Ai2 выпустил OLMo 2, последнюю версию семейства языковых моделей с открытым исходным кодом. В отличие от популярных моделей с открытыми весами, таких как Llama и Gemma, OLMo (что расшифровывается как Open Language Model) предоставляет веса, инструменты, наборы данных, стадии обучения и все остальное, что используется для разработки этих моделей, делая их действительно открытыми во всех смыслах.
Семейство моделей включает в себя версии с параметрами 7B (base, instruct) и 13B (base, instruct). Обе демонстрируют впечатляющие возможности. Версия 7B превосходит Llama 3.1 8B от Meta в английских академических тестах. Версия 13B превосходит Qwen 2.5 7B, несмотря на меньшую вычислительную мощность для обучения.
Новый выпуск моделей опирается на фундамент, заложенный первой моделью OLMo, выпущенной в начале этого года. Команда Ai2 использовала инновационный двухэтапный подход к обучению. Сначала они обучили модель на большом наборе данных, состоящем из 3,9 триллиона токенов. Затем они доработали ее с помощью высококачественных данных из академического контента, данных по математике и наборов инструкций.
Особое внимание команда уделила стабильности обучения. Они внесли ключевые изменения, чтобы предотвратить падение производительности во время длительного обучения. Эти изменения включали в себя усовершенствование архитектуры модели и процесса обучения.
Этот выпуск основан на недавней работе Ai2 с Tülu 3, их системой обучения с открытым исходным кодом. Tülu 3 — это сложный процесс посттренировочного обучения, который делает OLMo 2 способным выполнять задачи по выполнению инструкций наравне с лучшими моделями в мире.
Исследователи и разработчики могут получить доступ к OLMo 2 через игровую площадку Ai2 или загрузить ее с сайта Hugging Face. Лицензия Apache 2.0 означает, что все желающие могут изучать, изменять или создавать модель без ограничений.
