Суперкомпьютеры нового поколения разрабатываются такими компаниями, как Cerebras и Inflection AI, для обучения все более сложных генеративных моделей ИИ.
Причем компания Cerebras уже представила свою систему Condor Galaxy 1 производительностью 2 экзафлопса. Она была собрана и введена в эксплуатацию всего за 10 дней и состоит из 32 компьютеров Cerebras CS-2. По словам представителей компании, в ближайшие 12 недель Condor Galaxy удвоится в размерах, а в течение следующих 18 месяцев Cerebras планирует установить дополнительные системы, чтобы достичь суммарного показателя в 36 эксафлопс на 9 установках. Это позволит ей стать одним из крупнейших суперкомпьютеров, ориентированных на работу с ИИ.
Каждый CS-2 работает на базе Waferscale Engine-2 — процессора для ИИ с 2,6 трлн транзисторов и 850 000 искусственных ядер, созданного на основе одной кремниевой пластины.
Генеральный директор Cerebras Эндрю Фельдман отметил, что "число компаний, обучающих нейросетевые модели с 50 млрд. и более параметров, выросло с 2 в 2021 году до более чем 100 в этом году".
Компания Inflection AI создает суперкомпьютер на базе 22 000 графических процессоров Nvidia H100, ориентированный на генерацию и понимание естественного языка. Недавно компания привлекла финансирование в размере 1,3 млрд. долл. от Microsoft, Nvidia и других компаний, а также представила свою первую собственную языковую модель Inflection-1, которая, как утверждается, не уступает GPT 3.5, Chinchilla и PaLM-540B, а также является основой персонального ИИ Pi.
Помимо Inflection, крупнейшие облачные платформы запустили новые инстансы на базе графических процессоров H100 от Nvidia. AWS выпустила инстансы P5, в которых могут работать до 20 000 графических процессоров H100. Аналогичное оборудование доступно в Microsoft Azure, Google и Core Weave. Благодаря легкому доступу к масштабируемым ресурсам разработчики могут быстро создавать прототипы приложений генеративного ИИ, поскольку время обучения на H100 с его движком Transformer может быть значительно сокращено. В бенчмарке MLPerf компании Core Weave и Nvidia недавно обучили модель GPT-3 со 175 млрд. параметров на 3 500 графических процессорах менее чем за 11 минут.
