Компания Илона Маска по разработке искусственного интеллекта xAI опубликовала веса и архитектуру своей модели Grok-1, состоящей из 314 млрд параметров, под лицензией Apache 2.0. Это произошло после обещания Маска сделать Grok доступной.

xAI утверждает, что Grok-1 — это необработанная базовая модель, полученная на этапе предварительного обучения, которое завершилось в октябре 2023 года. Это означает, что модель не настроена для какого-либо конкретного приложения (например, для разговоров и диалогов). Веса, архитектура и руководство по установке Grok-1 доступны на GitHub.

xAI обучил модель с нуля, используя свой технологический стек на основе JAX и Rust, всего за 3 месяца с момента основания. В отличие от некоторых релизов с открытым исходным кодом, таких как Gemma и Llama, которые имеют ограничения на использование, релиз Grok с открытым исходным кодом предлагает широкий доступ к базовой технологии. Однако он не дотягивает до полной прозрачности, которую обеспечивают такие модели, как Pythia, Bloom и OLMo, включающие обучающий код и наборы данных, использованные для обучения моделей.

Этот релиз появился в период растущей напряженности между Маском и OpenAI. Маск, покинувший OpenAI в 2018 году из-за опасений, что для них приоритетом является прибыль, а не безопасность, все чаще критикует компанию. Недавно он подал иск против OpenAI, утверждая, что компания отступила от своего обещания создавать модели с открытым исходным кодом в пользу приоритета акционеров.