Сотрудник научного отдела «Яндекса» Владимир Малиновский создал сервис, который позволяет запускать большую языковую модель Llama 3.1 (создана Meta, которая признана экстремистской организацией и запрещена в России) с 8 млрд параметров на обычном компьютере или смартфоне через браузер. Это может значительно сократить расходы на вычислительные мощности для компаний, стартапов и исследователей. Исходный код проекта доступен на GitHub. Модель Llama 3.1−8B загружается из облака и уменьшена до 2,5 ГБ, работая без интернета после загрузки. Скорость ответов зависит от производительности устройства. Программа написана на Rust с использованием WebAssembly. В основе сервиса лежит технология сжатия нейросетей AQLM, разработанная Yandex Research и университетами ISTA и KAUST летом 2024 года.

Протестировать сервис можно здесь.