Высокопроизводительные вычисления не будут ограничиваться архитектурой x86 — и это уже происходит
Помните времена, когда высокопроизводительные вычисления ассоциировались с архитектурой x86? Ровно десять лет назад почти девять из десяти суперкомпьютеров в рейтинге TOP500 (список самых мощных машин, который дважды в год составляют учёные) были на базе процессоров Intel. Сегодня этот показатель снизился до 57 процентов. Когда-то Intel доминировала в сфере высокопроизводительных вычислений, но её влияние ослабевает. Сегодня другие процессоры набирают популярность.
Развитие суперкомпьютеров шло волнообразно с тех пор, как в середине 1970-х годов компания Cray представила векторные процессоры (которые отлично подходили для выполнения отдельных операций с большими наборами данных).
Позже появились архитектуры с сокращённым набором команд (RISC) и такими чипами, как 64-битный DEC Alpha, IBM POWER, Sun/Fujitsu SPARC, SGI MIPS и HP PA-RISC. Каждый из них обладал уникальными характеристиками производительности. Их более простые наборы команд обеспечивали быстрое декодирование и конвейерную обработку команд, а также подходили для более широкого спектра задач, чем векторные системы, пишет The Register. Проблема RISC заключалась в экономической составляющей. Чипы, производимые в меньших объёмах, стоили намного дороже стандартных чипов, таких как x86. NASA осознало это и ещё в 1994 году начало использовать чипы Intel для своих суперкомпьютерных кластеров Beowulf. Это доказало, что параллельная работа дешёвых чипов может сравниться по производительности со специализированным оборудованием, при этом сокращая расходы.
В 1997 году компания Intel выпустила ASCI Red, которая стала первой машиной с производительностью в терафлопс, использующей 9152 процессора Pentium Pro, предназначенных для рабочих станций. Intel набирала обороты, но графические процессоры становились всё более востребованными. Запуск CUDA от Nvidia в 2006 году превратил графические процессоры в вычислительные машины общего назначения с резким ускорением при работе с параллельными данными.
«Тенденция в области искусственного интеллекта и то, что происходит с гипермасштабируемыми системами, действительно открывают возможности для архитектур на базе процессоров, отличных от x86, — говорит Эддисон Снелл, генеральный директор аналитической компании Intersect360 Research. — Большая и быстрорастущая часть рынка ориентирована на ускорители, в основном на графические процессоры Nvidia, и это действительно влияет на архитектуру».
Однако этим графическим процессорам по-прежнему нужны центральные процессоры для обработки части рабочей нагрузки. Эта нагрузка на центральный процессор включает в себя планирование заданий, управление рабочими процессами, операции ввода-вывода и скалярные операции, которые плохо поддаются распараллеливанию. «Например, вычисление среднего значения чисел, верно? Графический процессор не может сделать это быстрее, чем чип Arm или x86, — объясняет Карл Фройнд, основатель и главный аналитик Cambria-AI Research. — Поэтому, когда вы заканчиваете работу над слоем и хотите вычислить среднее значение по узлам, просто позвольте чипу Arm сделать это».
Чипы x86, будь то от Intel или AMD, быстро обогнали по популярности на рынке чипы RISC и стали всё чаще использоваться вместе с графическими процессорами для выполнения сложных параллельных вычислений. Например, в 2012 году суперкомпьютер Titan в Ок-Ридже возглавил список TOP500 благодаря сочетанию процессоров AMD Opteron с графическими процессорами Nvidia K20 на 18 688 узлах с производительностью 17,6 петафлопс.
Доминирование Nvidia в сфере графических процессоров для высокопроизводительных вычислений обусловлено наличием полного и тесно интегрированного стека, включающего аппаратное и программное обеспечение. «Самое большое преимущество Nvidia — в программном обеспечении, — говорит коллега Снелла Стив Конвей, старший аналитик Intersect360 Research. — Они с самого начала инвестировали в программное обеспечение для управления этим монстром под названием CUDA». По его словам, этот технологический стек — настоящая защита компании. Он был расширен и углублён, и компания инвестировала в его использование как нынешними коммерческими разработчиками, так и будущими поколениями разработчиков в университетах.
AMD подает большие надежды как в области процессоров, так и в области графических процессоров. Ее архитектура EPYC, предназначенная для серверов и встраиваемых систем, помогла компании Oak Ridge снова занять первое место в 2023 году с проектом Frontier, в котором используется 9472 процессора и 37 888 графических процессоров AMD Instinct (бренд графических процессоров для центров обработки данных).
В поколениях EPYC от компании Milan, Genoa и Turin постепенно увеличивалась плотность чипов, что привело к новым крупным победам. В ноябре суперкомпьютер El Capitan из Ливерморской национальной лаборатории имени Лоуренса (LANL) сохранил своё первое место благодаря сочетанию AMD EPYC и Instinct.
Саймон Макинтош-Смит, директор Бристольского центра суперкомпьютеров, видит большие перспективы в AMD. «AMD становится все более жизнеспособной. Аппаратное обеспечение действительно хорошее, на уровне Nvidia. В чем они традиционно не так сильны, так это в программном обеспечении», — говорит он, призывая вкладывать в него больше средств.
Хотя AMD значительно опережает Intel на высококонкурентном рынке высокопроизводительных вычислений x86, Arm является еще одним сильным конкурентом в этой сфере. Проект Mont-Blanc, запущенный Барселонским суперкомпьютерным центром в 2011 году, обеспечил европейскую проверку архитектуры Arm с использованием встроенных чипов Arm в экспериментальных кластерах. Это был один из первых экспериментов с архитектурой Arm в высокопроизводительных вычислительных системах.
Почти десять лет спустя появился Fugaku — система, развернутая в 2020 году в японском Центре вычислительных наук Riken, которая стала настоящим достижением компании Arm. Этот монстр с производительностью 442 петафлопса использовал 48-ядерные процессоры A64FX, чтобы занять первое место в рейтинге TOP500.
Год спустя, в 2021 году, компания Arm внедрила векторную обработку в свои процессоры Neoverse для центров обработки данных, выпустив процессор Neoverse V1 с масштабируемыми векторными расширениями.
Важным стратегическим плацдармом для Arm в сфере высокопроизводительных вычислений стало партнёрство с Nvidia. Объявленное в 2021 году, оно привело к созданию Grace — чипа Nvidia на базе Arm, который в сочетании с графическим процессором Hopper позволил создать суперчип Grace Hopper. Более 40 суперкомпьютерных проектов заявили о своей поддержке проекта Grace Hopper, в том числе немецкая система Jupiter, которая только что стала первой в Европе экзафлопсной системой с производительностью 1 экзафлопс.
Исследования также показывают высокую энергоэффективность чипов Arm. Например, в ходе сравнительного анализа систем искусственного интеллекта в 2023 году было обнаружено, что при использовании чипов Arm по сравнению с аналогичными чипами x86 энергопотребление снижается примерно на 25–30 %.
Бристольский центр суперкомпьютеров также выбрал архитектуру Arm, начав с первого суперкомпьютера Isambard в 2018 году. Теперь его суперкомпьютер Isambard-AI построен на узлах Nvidia Grace Hopper. Это крупнейший суперкомпьютер в Великобритании, состоящий из более чем 5500 узлов Grace Hopper.
Похоже, что Nvidia собирается разработать собственную архитектуру процессоров. Компания заключила с Arm соглашение о лицензировании интеллектуальной собственности сроком на 20 лет и уже заявила, что будет создавать собственные ядра на основе этой интеллектуальной собственности, что может привести к отказу от готовых ядер Neoverse.
Несмотря на то, что компания Arm сегодня добивается больших успехов, на горизонте появляются и другие претенденты. Один из них — RISC-V, который сильно отличается от Arm своей стратегией лицензирования, предполагающей бесплатную передачу. Разработанная в Калифорнийском университете в Беркли, это архитектура с открытым набором команд, не требующая лицензионных отчислений.
Это огромное преимущество, — говорит Джон Лейдел, главный научный сотрудник и основатель компании Tactical Computing Labs (TCL). Ветеран Cray и Silicon Graphics имеет опыт разработки программного обеспечения и проектирования аппаратных средств. Сейчас он руководит небольшой научно-исследовательской фирмой, специализирующейся на разработке нового аппаратного и программного обеспечения для высокопроизводительных вычислений и анализа данных.
«Если бы вы взяли процессор x86 и захотели настроить его для конкретного научного приложения, вам нужно было бы получить лицензию от Intel, — говорит он. — А затем пройти через очень сложный процесс, который стоит миллиарды долларов».
То же самое, конечно, относится и к процессорам Arm. Однако, по его словам, это не единственное преимущество RISC-V перед x86. У этой почтенной архитектуры много недостатков.
«x86 — это устаревшая архитектура, которая по определению должна поддерживать все устаревшие инструкции, когда-либо существовавшие в процессорах x86», — отмечает Лейдел. Приложение, написанное в 1989 году для работы с бухгалтерской системой на настольном компьютере, по-прежнему должно работать на тех же современных чипах x86, которые установлены в компьютере TOP500.
«RISC-V отказалась от этого стандарта. Они сказали, что это абсолютно безумно, — объясняет он. — Почему бы нам не создать чистый дизайн с нуля, начать с чистого листа, с чистого пола, с чистого листа на доске и с самого начала делать всё правильно?» По его словам, идея RISC-V заключается в том, чтобы предоставить базовый набор команд, а затем дать людям возможность создавать на его основе собственные дополнительные расширения. Таким образом, они могут создавать собственные чипы, адаптированные под их уникальные задачи.
Макинтош-Смит в этом не уверен. Он отмечает, что есть причина, по которой вы платите за лицензию Arm, и во многом это связано с более продвинутыми инструментами. «Качество и производительность бесплатных реализаций не сравнятся, скажем, с топовым процессором Arm, который используется в устройствах Apple или в облачных сервисах, — объясняет он. — Продукты с открытым исходным кодом не будут конкурентоспособными. Они будут достаточно хороши, но не настолько, чтобы конкурировать».
Сообщение Высокопроизводительные вычисления не будут ограничиваться архитектурой x86 — и это уже происходит появились сначала на Время электроники.