Компания Meta представила свою самую совершенную на сегодняшний день языковую модель искусственного интеллекта Llama 3.1 405B с 405 млрд параметров и возможностями, превосходящими ведущие проприетарные модели. Этот релиз знаменует собой важную веху в развитии ИИ с открытым исходным кодом: Meta заявляет о производительности, сравнимой с моделями OpenAI и Anthropic или превосходящей их по различным показателям.
Обладая самыми современными возможностями, ИИ-модель демонстрирует превосходство в общих знаниях, создании длинных текстов, многоязычном переводе, кодировании, математике и продвинутых рассуждениях. По сравнению с предшественниками она демонстрирует более высокую производительность в использовании инструментов и улучшенное понимание контекста. Бенчмарки показывают, что Llama 3.1 405B превосходит GPT-4o в нескольких областях, включая тесты GSM8K и Hellaswag, но при этом немного уступает в HumanEval и MMLU-social sciences.
Особенности Llama 3.1:
405B параметров: Самая большая на сегодняшний день модель ИИ с открытым исходным кодом, способная выполнять сложные задачи в области общих знаний, рассуждений и многоязычного перевода.
Контекстное окно 128K: Значительное усовершенствование, позволяющее модели обрабатывать гораздо большие объемы информации в одном запросе.
Многоязычная поддержка: Расширенная поддержка восьми языков, включая английский, французский, немецкий, хинди, итальянский, португальский и испанский.
Дистилляция модели и генерация синтетических данных: Новые возможности, позволяющие разработчикам использовать результаты моделей Llama для улучшения других моделей, что способствует развитию инноваций и снижению затрат.
Обучение массивной модели с параметрами 405B потребовало значительных вычислительных ресурсов: было задействовано более 16 000 графических процессоров NVIDIA H100 для обработки более 15 триллионов токенов. Модель, а также ее меньшие варианты 8B и 70B, получившие обновления, теперь доступны для загрузки на Hugging Face и через облачных партнеров, включая AWS, Azure и Google Cloud. Разработчики также могут экспериментировать с моделями с помощью чат-бота Meta AI или получить доступ к ним напрямую через предоставленные платформы.
Выпуск Llama 3.1 сопровождается набором инструментов и фреймворков, призванных содействовать ответственной разработке ИИ. В их числе Llama Guard 3, многоязычная модель безопасности, и Prompt Guard, фильтр против атак с внедрением подсказок. Meta также собирает отзывы о предлагаемом "стеке Llama" — стандартизированном наборе интерфейсов, направленном на улучшение совместимости в экосистеме ИИ.
По мере распространения Llama 3.1 Meta интегрирует его в свои собственные продукты. Американские пользователи уже могут познакомиться с возможностями модели в WhatsApp и Meta.ai, а в ближайшие недели планируется распространить ее на Instagram, Facebook и даже VR-гарнитуры Quest от Meta.
