Запустить по-настоящему умную нейросеть на домашнем компьютере сейчас практически невозможно. Для работы большим языковым моделям необходимо очень мощное «железо» и все равно это будет долго и энергозатратно. Google только что анонсировала технологию TurboQuant, которая позволит запускать мощные LLM локально на обычных GPU вроде RTX 4090 или даже 3060 без потери точности. Обработка данных ускорится до 8 раз, а требования к памяти значительно снизятся. Впрочем, и дата-центры смогут обслуживать в разы больше пользователей на тех же мощностях.

Когда вы общаетесь с ChatGPT или любым другим ИИ-ассистентом, модель не просто отвечает на последнее сообщение. Она держит в памяти весь разговор целиком: каждое слово, весь контекст.

Для хранения этой «рабочей памяти», она называется KV-кэш, нужна видеопамять GPU. Чем длиннее разговор или документ, тем больше памяти нужно. Большие модели при длинных диалогах потребляют десятки и сотни гигабайт. У домашней видеокарты столько просто нет.

Именно поэтому мощные модели развертывают в облаке, на серверах с дорогущими профессиональными GPU. А обычный пользователь либо платит за API, либо довольствуется урезанными локальными версиями.

Сжатие данных существует давно. Применительно к нейросетям оно называется квантизацией — это перевод чисел высокой точности в числа попроще, с меньшим количеством знаков. Грубо говоря, вместо числа 3,14159265 хранить просто 3,14. Но у старых методов есть серьезный минус: чтобы модель не запуталась в упрощённых числах, рядом с каждым сжатым блоком данных приходится хранить специальные поправочные подсказки. Маленькие, но их очень много и они съедают значительную часть выигрыша от сжатия. К тому же при сильной квантизации нейросеть начинает «забывать» детали. Дает менее точные ответы, путается в длинных текстах.

TurboQuant решает проблему через два хитрых математических алгоритма. Первый — метод PolarQuant. Вместо стандартного описания данных технология переводит их в другую систему координат. Если раньше для описания перемещения, чтобы модель поняла, надо было прописать инструкцию: «Три шага на восток, четыре на север», TurboQuant описывает все более компактно и понятно: «Пять шагов под углом 37 градусов вправо». Та же точка, но записана компактнее и никаких поправочных подсказок не нужно, потому что система координат уже содержит всю нужную информацию внутри себя.

Второй шаг — метод QJL. Он подчищает крохотную погрешность, которая всё же остаётся после первого этапа. Делает это буквально одним битом — крошечной пометкой «плюс или минус». Без лишних таблиц, без хранения дополнительных констант.

В результате рабочая память модели сжимается в шесть раз. Причём без какой-либо потери в качестве ответов — это подтверждено тестами на нескольких стандартных бенчмарках.

Для домашних пользователей это означает возможность запускать модели, которые раньше требовали профессионального сервера, на обычной игровой видеокарте. GPU с 12 гигабайтами памяти сможет тянуть то, что раньше требовало 24 и больше. Разработчики уже делают первые рабочие реализации на популярных фреймворках.

Для дата-центров — экономия огромная. Один сервер сможет обслуживать в шесть раз больше пользователей одновременно. Это снизит стоимость облачных ИИ-сервисов и позволит компаниям не покупать новые дорогие GPU, а выжимать больше из уже имеющихся.

Для создателей видео и изображений с помощью ИИ — тоже хорошие новости. Те же видеогенераторы, которые сейчас с трудом умещаются на топовых видеокартах, станут доступны на картах среднего класса.

Есть и оговорка: пока это академическая публикация. Официального кода Google не выпустила. До появления готовых кнопок в популярных программах пройдёт ещё несколько месяцев, а то и год. Но направление задано и энтузиасты уже воспроизводят алгоритм самостоятельно.

Мгновенно отреагировал на новость и рынок: акции производителей памяти упали (Micron, Western Digital, Seagate и других).