Суперкомпьютер искусственного интеллекта Colossus: xAI планирует расширить его с помощью миллиона ускорителей

Летом xAI, NVIDIA и Supermicro с гордостью представили суперкомпьютер Colossus AI , который они создали за 122 дня и оснастили 100.000 ускорителей H100. Несколько дней назад AWS объявила о создании кластера ИИ с 400.000 чипов Trainium2 в сотрудничестве с Anthropic. Похоже, xAI не хочет отставать и работает над расширением Colossus. Секрета здесь нет, поскольку после завершения проекта уже обсуждалось добавление такого же количества ускорителей H200.

Но планы xAI, судя по всему, гораздо масштабнее. Согласно отчету Financial Times , расширение уже началось. NVIDIA, Dell и Supermicro направили своих сотрудников и выделили рабочие места в дата-центре в Мемфисе и его окрестностях, чтобы поддерживать текущие операции и расширять суперкомпьютер. Речь идет о «командах специальных операций xAI».

Окончательные планы по расширению пока неизвестны. Однако, похоже, xAI собирается установить более миллиона ускорителей, что в десять раз больше текущего количества. Вероятно, одной из самых больших проблем ...