Крупнейший в мире суперкомпьютер Илона Маска с энергопотреблением свыше 1 ГВт одновременно обучает 7 ИИ-моделей
В суперкомпьютерном кластере Colossus 2 запущен параллельный тренинг семи крупных языковых и мультимодальных моделей, о чем рассказал Илон Маск.
В настоящий момент в процессе обучения находятся:
- Imagine V2 (улучшенная генеративная модель изображений и видео);
- Два варианта модели объёмом 1 трлн параметров;
- Два варианта модели объёмом 1,5 трлн параметров;
- Модель объёмом 6 трлн параметров;
- Модель объёмом 10 трлн параметров.
На вопрос о том, сколько по времени займет обучение самой большой модели с 10 трлн параметров, Илон Маск заявил, что предварительный этап обучения длится около 2 месяцев.
Компания xAI уже ввела в эксплуатацию суперкомпьютер Colossus 2, предназначенный для обучения Grok и других задач. Установка стала первым в мире ИИ-кластером с энергопотреблением на уровне 1 ГВт. Для сравнения, это больше пикового энергопотребления такого крупного города, как Сан-Франциско.