По сравнению с человеком, языковые модели могут генерировать текст невероятно быстро. Но для некоторых, например, для стартапа Groq, этого недостаточно. Чтобы добиться еще более высокой производительности, Groq разработала специализированное оборудование: LPU (Language Processing Units).
Эти LPU специально разработаны для работы с языковыми моделями и обеспечивают скорость до 500 токенов в секунду. Для сравнения, относительно быстрые LLM Gemini Pro и GPT-3.5 обрабатывают от 30 до 50 токенов в секунду, в зависимости от нагрузки, запроса и контекста.
Первый "GroqChip" в категории LPU-систем использует "тензорную потоковую архитектуру", которая, по словам Groq, разработана для обеспечения производительности, эффективности, скорости и точности.
По словам стартапа, в отличие от традиционных графических процессоров (GPU), чип предлагает упрощенную архитектуру, которая обеспечивает постоянную задержку и пропускную способность. Это может стать преимуществом для приложений ИИ в реальном времени, таких как игры.
LPU также более энергоэффективны. Они снижают усилия, необходимые для управления несколькими потоками, и позволяют избежать неполного использования ядер, что позволяет выполнять больше вычислений на ватт.
Дизайн чипа Groq позволяет подключать несколько TSP без традиционных узких мест, связанных с кластерами GPU. По мнению Groq, это делает систему масштабируемой и упрощает требования к аппаратному обеспечению для больших моделей ИИ.
Системы Groq поддерживают распространенные фреймворки машинного обучения, что должно облегчить интеграцию в существующие проекты ИИ. Groq продает оборудование, а также предлагает облачный API с моделями с открытым исходным кодом, такими как Mixtral. Проверить скорость работы Groq с Mixtral и Llama можно здесь.
LPU могут улучшить развертывание приложений ИИ и стать альтернативой чипам A100 и H100 от Nvidia, которые широко используются сегодня и являются дефицитом. Но пока LPU работают только для выводов, то есть для запуска моделей ИИ. Для обучения моделей компаниям по-прежнему нужны графические процессоры Nvidia или аналогичные чипы.
