Китайская компания 01.AI, занимающаяся разработкой искусственного интеллекта (ИИ), выпустила свою открытую большую языковую модель Yi-34B. Всего за восемь месяцев с момента своего основания компания из Пекина достигла статуса "единорога" и оценивается в более чем 1 млрд долларов.

Компания 01.AI, детище известного ученого-компьютерщика Кай-Фу Ли, ставит своей целью разработку систем ИИ, ориентированных на китайский рынок.

Модель Yi-34B от 01.AI — это двуязычная англо-китайская модель, разработанная исследователями из компании 01.AI. Она содержит 34 млрд параметров и обучается на наборе данных длиной 4К последовательностей, расширяемом до 32К в процессе вывода. Результаты бенчмарков показывают, что Yi-34B демонстрирует лучшую производительность по сравнению с другими моделями с открытым исходным кодом, такими как LLaMA компании Meta, особенно в таких областях, как программирование, решении задач по математике, понимание прочитанного и рассуждения на основе здравого смысла.

Она уже заняла первое место среди предварительно обученных LLM с открытым исходным кодом на доске лидеров Hugging Face. Модель с открытым исходным кодом доступна для свободного исследовательского и коммерческого использования.

Ли считает, что при наличии достаточного количества данных и вычислений более крупные модели будут существенно превосходить более мелкие аналоги. Действительно, в ближайшие 1-2 года 01.AI планирует создать модели с 100-400 млрд параметров, которые, по мнению Ли, значительно улучшат показатели Yi-34B.

Несмотря на открытое использование некоторых моделей, 01.AI в конечном итоге стремится к созданию современных собственных систем в качестве основы для коммерческих продуктов.