NVIDIA Blackwell: новые форматы данных обеспечивают большую производительность ядер Tensor

В преддверии HotChips 2024 компания NVIDIA уже рассказывала об инфраструктуре Blackwell в виде интерконнекта NVLink и соответствующих коммутаторов . На самой конференции NVIDIA рассказала немного больше об архитектуре Blackwell и встроенных в нее ядрах Tensor. Хотя они по-прежнему могут вычислять большие матрицы за один прогон, благодаря новым форматам данных значительно увеличили пропускную способность.

С помощью новой системы квантования NVIDIA намерена значительно увеличить производительность инференса при работе с большими моделями. Квантование – это тип сжатия модели. Для сопоставимой плотности информации (например, качества изображения, созданного ИИ) теперь требуется меньше данных, что естественным образом ускоряет процесс инференса. По этой причине в последние месяцы производители программного и аппаратного обеспечения стараются использовать такие форматы данных, как INT8, FP8 и даже более простые форматы, такие как FP4 и INT4. До сих пор преимущество в производительности было ограниченным, поскольку для вычислений в INT4 или FP4 ...