Компания Google объявила о расширении семейства моделей искусственного интеллекта Gemma двумя новыми вариантами, один из которых предназначен для генерации кода, а другой — для выводов. Gemma была впервые выпущена в феврале и включает в себя легкие модели, использующие ту же технологию, что и более крупные модели Gemini от Google. 

Для генерации кода компания выпустила CodeGemma, которая обеспечивает завершение и генерацию кода. По словам Google, она способна создавать целые блоки кода за один раз. 

CodeGemma доступна в нескольких вариантах:

— Предварительно обученная модель с 7 млрд параметров для генерации и завершения кода.

— Модель с настройкой на инструкции с 7 млрд параметров, оптимизированная для общения в чате по поводу кода и выполнения инструкций.

— Предварительно обученная модель с 2 млрд параметров для быстрого завершения кода на локальных устройствах.

CodeGemma была обучена на 500 млрд лексем из веб-документов, математических вычислений и кода. Она может писать правильный и осмысленный код на Python, JavaScript, Java и других популярных языках программирования. 

Google также выпустила RecurrentGemma, отдельную модель, которая использует рекуррентные нейронные сети и локальное внимание для более эффективного использования памяти. Она работает так же, как и модель Gemma с 2 млрд параметров, но имеет некоторые преимущества:

— Она использует меньше памяти для более длительной генерации текста на устройствах с ограниченной памятью, например, на одиночных GPU или CPU.

— Она может обрабатывать текст быстрее за счет использования больших объемов данных и генерации большего количества слов в секунду.

— Она продвигает исследования в области ИИ, показывая, как модели без трансформаторов могут показывать хорошие результаты.

Новые модели теперь доступны на Kaggle, Nvidia NIM APIs, Hugging Face и в Vertex AI Model Garden. Они работают с такими инструментами, как JAX, PyTorch, Hugging Face Transformers, Gemma.cpp, Keras, NVIDIA NeMo, TensorRT-LLM, Optimum-NVIDIA и MediaPipe.