Компания Google расширила семейство ИИ-моделей Gemma с открытым исходным кодом, выпустив новую японскую версию, которая обладает производительностью уровня GPT-3.5 в миниатюрном корпусе.

Компания объявила об этом на Дне разработчиков Gemma в Токио, отметив, что модель достигла высоких возможностей японского языка при сохранении возможностей английского языка — и все это всего при 2 миллиардах параметров.

Это примечательно, поскольку очень маленькие модели могут испытывать так называемое "катастрофическое забывание", когда модель забывает ранее изученную информацию по мере приобретения новых знаний. Это может произойти во время тонкой настройки на новые языки.

Компания Google сделала модель весов сразу же доступной через Kaggle и Hugging Face, чтобы помочь разработчикам начать работу. Новая японская модель достаточно компактна, чтобы работать локально на мобильных устройствах.

Чтобы стимулировать международное развитие, Google объявила конкурс на 150 000 долларов под названием "Unlocking Global Communication with Gemma". Инициатива направлена на то, чтобы помочь разработчикам адаптировать Gemma для их местных языков. Уже ведутся проекты для арабского, вьетнамского и зулусского языков.

Модели Gemma 2, которые Google выложила в открытый доступ в конце июля, нацелены на максимальную производительность при небольшом количестве параметров. Как и аналогичные модели от Meta и других компаний, они рассчитаны на эффективность и локальную обработку. Например, версия Gemma 2 с 2 миллиардами параметров может превзойти некоторые гораздо более крупные модели, такие как LLaMA-2 с 70 миллиардами параметров.

Разработчики и исследователи могут получить доступ к модели Gemma-2-2B и другим моделям Gemma через различные платформы, включая Hugging Face, Google AI Studio и бесплатный план Google Colab. Модели также доступны через Vertex AI Model Garden.