Представлен ускоритель NVIDIA H100 – 80 ГБ памяти, 700 Вт и 60 TFLOPS
Компания NVIDIA объявила о выпуске графического процессора NVIDIA Hopper, новой платформы, которую производитель называет ускоренными вычислениями следующего поколения. Hopper является официальным преемником серии Ampere, и ускоряет динамическое программирование до 40 раз с использованием новых рекомендаций DPX.
Первым процессором, основанным на архитектуре Hopper стал H100. NVIDIA H100 изготовлен по технологии TSMC 4N, а его монолитная конструкция содержит около 80 миллиардов транзисторов. Чтобы представить это число в масштабе, GA100 составляет 54 миллиарда, а графический процессор GA102 в RTX 3090 – всего лишь 28,3 миллиарда. TDP чипа составляет 700 Вт. Как утверждает производитель, чип H100 превосходит процессор A100 предыдущего поколения в три раза в вычислениях с двойной точностью, тензорных вычислениях с одинарной точностью и вычислениях с половинной точностью, при этом он в шесть раз быстрее в 8-битных вычислениях с плавающей запятой.
Переход на память HBM3 повышает скорость передачи данных на вывод с 2,43 ГБит/с до 4,8 ГБит/с, но в остальном конфигурация памяти не изменилась: пять активных стеков HBM3 (с одним фиктивным), что даёт общую ёмкость 80 ГБ на GPU и общую пропускную способность 3 ТБ/сек. Соединение NVLink графического процессора также переходит на 4-е поколение, в результате чего пропускная способность между графическим процессором и его хост-системой составляет 900 ГБ/с. Для продуктов, которые не используют NVLink, H100 также реализует PCIe 5.0.
Ключевыми особенностями ускорителей NVIDIA H100 являются новый движок Transformer Engine, который можно использовать для ускорения нейронных сетей типа Transformer «до 6 раз» по сравнению с Ampere. Также стоит отметить поддержку специальных DPX-инструкций для динамического программирования, второе поколение технологии виртуализации Multi-Instance GPU, и новый коммутатор NVSwitch.
В своих релизных материалах NVIDIA неоднократно заявляла, что H100 «можно развернуть в центре обработки данных любого типа». Это связано с тем, что компания предлагает H100 в различных форм-факторах, начиная от карт расширения PCI Express 5.0 с показателем TDP на уровне 350 Вт, так и в форм-факторе SXM5 с заявленным TDP 700 Вт. PCIe-версия получит менее мощный чип с 14 592 ядрами CUDA. А версия в формате SXM5 будет построена на чипе с 16 896 ядрами.
Естественно, к этому запуску прилагается новая система DGX, получившая название DGX H100. Это четвертое поколение суперкомпьютерного модуля NVIDIA очень похоже на DGX A100 предыдущего поколения; в основном, он заменяет восемь графических процессоров A100 на восемь ускорителей SXM H100, что дает ему полные 32 петафлопса 8-битных вычислений. Таким образом, DGX SuperPOD объединяет 32 системы DGX, что дает в общей сложности 1 экзафлоп мощности вывода ИИ.
NVIDIA заявляет, что новейший DGX SuperPOD позволит клиентам, использующим суперкомпьютеры, «масштабироваться настолько, насколько это необходимо, с шагом в 32 узла». Действительно, это, похоже, является основой для проекта суперкомпьютера Eos, который объединяет около 18 SuperPOD, включая 576 систем DGX H100, соединяющих вместе 4608 графических процессоров H100.
Большинство анонсированных продуктов NVIDIA нацелены непосредственно на правительства и крупные исследовательские организации (обычно субсидируемые государством), которым требуется абсолютный максимум вычислительной мощности для обработки чисел. Производитель не предоставил никаких данных о ценах. H100 уже находится в производстве и будет доступен партнёрам NVIDIA в третьем квартале нынешнего года.