Финская компания Silo AI выпустила Poro — большую языковую модель (LLM) с открытым исходным кодом, направленную на развитие возможностей многоязычного ИИ для европейских языков и кодов.
Poro, разработанная SiloGen, подразделением генеративного Silo AI, и исследовательской группой TurkuNLP Университета Турку, является первой в планируемой серии моделей, которые в перспективе должны охватить все 24 официальных языка Европейского союза. Компания Silo AI называет себя "крупнейшей частной лабораторией ИИ в Северной Европе, создающей ИИ как услугу".
Модель Poro 34B с 34,2 млрд параметров использует архитектуру трансформатора BLOOM с ALiBi и обучена на многоязычной базе данных объемом 1 трлн лексем, ориентированной на английский, финский языки и языки программирования, такие как Python и Java.
Обучение Poro ведется на LUMI, самом быстром суперкомпьютере Европы, расположенном в Каяани, Финляндия. LUMI предоставляет доступ к 512 графическим процессорам AMD Instinct MI250X, обеспечивающим вычислительную мощность 74 петафлопс.
Poro предназначен для решения основной задачи — обучения эффективных моделей естественного языка для европейских языков с низким уровнем ресурсов, таких как финский. Для этого используется межъязыковой подход к обучению, позволяющий модели использовать данные из языков с более высокими ресурсами, таких как английский. Ход обучения модели Poro документируется с помощью программы Poro Research Checkpoints, что обеспечивает прозрачность процесса обучения модели.
По словам представителей Silo, первые результаты показывают, что она конкурентоспособна с моделями Meta Llama с открытым исходным кодом. После немецкой языковой модели LeoLM, которая была обучена компаниями LAION и Hessian.ai, это вторая европейская языковая модель, которая может хорошо работать как на английском, так и на родном языке.
Poro находится в свободном доступе под лицензией Apache 2.0, что делает ее пригодной как для коммерческого, так и для исследовательского использования. Карту модели можно посмотреть здесь.
Такие LLM, как GPT-4, хорошо работают на многих языках, но, как правило, лучше всего на английском, поскольку он доминирует в наборе данных. Учитывая, что французский Mistral 7B демонстрирует конкурентоспособную общую производительность, а немецкий Aleph Alpha недавно получил 500 млн инвестиций, похоже, что Европа наконец-то берет себя в руки.
