Американский стартап Tiiny AI представил устройство размером с внешний жёсткий диск, которое, по их словам, способно запускать Искусственный интеллект со 120 миллиардами параметров полностью без Интернета. Tiiny AI Pocket Lab уже официально занесён в Книгу рекордов Гиннесса в специфической категории «Самый маленький мини-ПК для локального запуска LLM на 100 миллиардов параметров». Гаджет имеет размеры 14,2 × 8 × 2,53 сантиметра и весит примерно 300 граммов. Компания обещает производительность на уровне GPT-4o при потреблении всего 65 ватт.
Устройство построено на базе 12-ядерного процессора ARMv9.2 с нейропроцессором (NPU, специализированный чип для задач ИИ), выдающим около 190 триллионов операций в секунду (TOPS). Внутри 80 гигабайт памяти типа LPDDR5X (это очень быстрая оперативная память) и твердотельный накопитель на 1 терабайт.
Сердце технологии — две разработки. Первая, TurboSparse, использует так называемую разрежённую активацию: вместо того чтобы задействовать все нейроны модели, система активирует лишь нужные в данный момент — примерно 10% от общего числа. Вторая технология, PowerInfer, динамически распределяет вычисления между процессором и нейропроцессором. «Горячие» нейроны (те, что активируются постоянно) загружаются в быструю память NPU, а «холодные» (редко используемые) обрабатывает CPU по мере необходимости.
В теории это позволяет запускать модель со 120 миллиардами параметров в 80 гигабайтах памяти благодаря агрессивному квантованию (упрощению весов модели до 4 бит вместо стандартных 16). Но есть вопросы… много вопросов и главные среди них – зачем это нужно?
Аналоги вроде NVIDIA DGX Spark стоят около 4 000 долларов, работают на топовых GPU и потребляют в разы больше энергии. А вот мини-ПК на базе AMD Ryzen AI Max 395+ с 96 гигабайтами памяти можно купить за 1 730 долларов, и он тоже справится с большинством задач локального ИИ. Энтузиасты уже успешно запускают GPT-OSS-120B (открытая языковая модель с примерно 117–120 миллиардами параметров, выпущенная OpenAI) на обычных компьютерах с процессорами вроде Intel i9-14900K и видеокартой RTX 3090 (24 гигабайта), получая 30–35 токенов в секунду — вполне рабочий темп. Это поднимает вопрос: зачем платить за специализированное устройство, если можно обойтись стандартным железом?
Ключевой недостаток любого аппаратного решения для ИИ — моментальное устаревание. Модели совершенствуются каждые несколько месяцев. GPT-5.2, Claude Opus 4.5, Gemini 3 Pro и другие флагманские модели уже оперируют сотнями миллиардов параметров, а через год могут появиться модели на триллион параметров. Pocket Lab с его 190 TOPS и 80 гигабайтами памяти останется на уровне 2025 года. Компания обещает «OTA-обновления железа по воздуху» (проще говоря, будут выпускать новые прошивки системы), что звучит как маркетинговая уловка — законы физики не обновишь программно.
Нейропроцессоры хороши для задач с низкой задержкой и малым энергопотреблением — распознавание речи, обработка камеры смартфона, короткие запросы к ИИ-ассистенту. Но для тяжёлых вычислений вроде запуска больших языковых моделей GPU всё ещё впереди. Исследования показывают: NPU в 4 раза эффективнее GPU для LLM-инференса при малых батчах (когда обрабатывается один запрос за раз), но GPU выигрывает при больших объемах информации и длинных контекстах.
Видеокарты вроде RTX 4090 (24 гигабайта VRAM) выдают до 82 терафлопсов вычислительной мощности с пропускной способностью памяти 1008 гигабайт в секунду. Pocket Lab с его 190 TOPS и памятью LPDDR5X (пропускная способность около 200 гигабайт в секунду) проигрывает по обоим показателям. Его производительность вряд ли превзойдёт настольный ПК среднего уровня.
Так кому это может быть нужно? Компания позиционирует устройство для разработчиков, исследователей, банковской сфере, создателей контента и всех, кто ценит приватность. Идея локального ИИ без облака действительно привлекательна: никаких утечек данных, нулевая задержка, независимость от Интернета. Для полевых работ — медицины, журналистики в отдалённых регионах, промышленной безопасности — это имеет смысл. Но большинству пользователей проще и дешевле арендовать облачные вычисления или собрать мощный ПК с хорошей видеокартой.
Цена пока не раскрыта. Учитывая спецификации, ожидается диапазон 2 000–4 000 долларов. За эти деньги можно купить RTX 4090 или даже две RTX 4070, которые суммарно дадут больше вычислительной мощности и гибкости. Полная презентация запланирована на CES 2026 в январе — там и станет ясно, оправданы ли амбиции стартапа.
Tiiny AI Pocket Lab — это технологическая демонстрация возможностей, а не практичное решение для масс. Для энтузиастов, которым нужен автономный ИИ-гаджет в поездках, это интересная игрушка. Для остальных — вопросительный знак. Возможно, через пару лет такие устройства станут нормой, но пока что классический ПК с хорошей видеокартой остаётся королём локального ИИ. А идея «суперкомпьютера в кармане» пока что больше напоминает искусный маркетинг, чем революцию. Но во время хайпа ИИ – оно кому-то да пригодится.
