На конференции I/O Connect в Берлине компания Google представила серию моделей Gemma 2, которая будет доступна исследователям и разработчикам через Vertex AI со следующего месяца. Модель будет доступна в двух версиях: с 9 и 27 миллиардами параметров. Вот технический отчет.
По словам Google, новые модели предназначены для разработчиков, которые хотят интегрировать ИИ в свои приложения или пограничные устройства, такие как смартфоны, IoT-устройства и ПК.
Модель 27B обладает производительностью, сравнимой с фирменными моделями, более чем в два раза превышающими ее размер, что было бы немыслимо еще полгода назад. Она приближается по производительности к таким крупным моделям, как Llama 3 70B и Claude 3 Sonnet, несмотря на то, что значительно меньше.
Одним из самых поразительных аспектов Gemma 2 является ее эффективность. Google утверждает, что модель 27B может работать с полной точностью на одном хосте Google Cloud TPU, NVIDIA A100 80GB Tensor Core GPU или NVIDIA H100 Tensor Core GPU. Это значительно снижает требования к аппаратному обеспечению и затраты, связанные с развертыванием таких мощных моделей ИИ. При этом эффективность не снижается за счет скорости — Gemma 2 оптимизирована для быстрых вычислений на широком спектре оборудования, от высокопроизводительных облачных систем до игровых ноутбуков потребительского класса.
Она выпущена под коммерческой лицензией, что позволяет проводить исследования и потенциально монетизировать инновации, созданные на ее основе. Модель рассчитана на широкую совместимость, легко интегрируясь с такими популярными фреймворками ИИ, как Hugging Face Transformers, JAX, PyTorch и TensorFlow.
Gemma 2 уже доступна в Google AI Studio и скоро появится в Vertex AI Model Garden. Можно также загрузить веса моделей Gemma 2 с Kaggle и Hugging Face.
