Компания Stability AI выпустила Stable Code 3B — новейшую ИИ-модель, которая специализируется на дополнении кода. Stable Code 3B может работать в автономном режиме на обычных ноутбуках без графического процессора. Она на 60 % меньше, но работает аналогично более крупной модели CodeLLaMA 7B от Meta.
Stable Code 3B не только предлагает новые строки кода, но и может заполнять большие недостающие участки в существующем коде. Возможность заполнять недостающие участки кода — это усовершенствованная функция завершения кода, известная как Fill in the Middle (FIM).
Обучение модели было также оптимизировано с использованием расширенного размера контекста с помощью техники, известной как Rotary Position Embeddings (RoPE), при этом длина контекста может достигать 100 000 лексем. Это расширение позволяет модели анализировать и автозаполнять гораздо более сложный код.
Stable Code 3B — языковая модель с 2,7 млрд параметров только для декодера, предварительно обученная на 1,3 триллионах лексем из различных наборов текстовых и кодовых данных. Модель построена на базе модели естественного языка Stable LM 3B от Stability AI. В качестве обучающих данных использовались репозитории кода, форумы программистов и другие технические источники. Она обучалась на 18 различных языках программирования, и Stability AI утверждает, что Stable Code 3B демонстрирует лучшую производительность в эталонных тестах многоязычного программирования MultiPL-E.
Модель поддерживает такие популярные языки, как Python, Java, JavaScript, Go, Ruby и C++. Первые бенчмарки показывают, что она соответствует или превосходит по качеству завершения работы модели более чем вдвое большего размера.
Stable Code 3B доступна для коммерческого и некоммерческого использования в рамках новой подписки на услуги Stability AI. Участники получают доступ к Stable Code 3B наряду с другими инструментами ИИ из портфолио Stability AI, включая инструменты для генерации изображений SDXL, StableLM Zephyr 3B для генерации текстового контента, Stable Audio для генерации аудио, Stable Video для генерации видео.
