Илон Маск в очередной раз решил удивить мир масштабами своих амбиций. Он показал, как в штате Теннесси идет строительство суперкомпьютера Colossus 2, который станет первым в мире гигаваттным ИИ-кластером для обучения нейросетей. На площадке трудятся более 2000 рабочих.
Первый Colossus появился в сентябре 2024 года и сразу стал событием. Построенный всего за 122 дня на месте бывшего завода Electrolux, сейчас он работает на 240 000 графических процессоров. Сам глава NVIDIA Дженсен Хуанг назвал его вероятно самым быстрым суперкомпьютером планеты в формате единого кластера.
Первая версия отлично справляется с обучением языковой модели Grok от xAI — конкурента ChatGPT от OpenAI. Кроме того, его вычислительные мощности используют SpaceX для анализа космических миссий и Tesla для разработки систем автономного вождения и робота Optimus.
Colossus 2 превзойдет своего предшественника более чем в два раза — он получит 550 000 GPU. Только в первой фазе запуска установят 110 000 чипов Nvidia GB200 и GB300. Запуск планируется через несколько недель, а полная сборка продолжится в течение следующих лет с возможным расширением до миллиона чипов H100.
Новый суперкомпьютер будет оптимизирован для параллельных вычислений с высокоскоростными соединениями между узлами, специализированными операционными системами и жидкостным охлаждением. Все процессоры будут согласованно работать над самой главной задачей последних лет в мире IT — обучением нейросетей с миллиардами параметров. Такой уровень синхронизации и производительности недостижим для обычных дата-центров.
