Новый мини-суперкомпьютер Nvidia помещается в кармане
Проект Digits, подобно серверам Nvidia DGX 100, предлагает пользователям готовый к использованию ИИ-суперкомпьютер, устраняя необходимость в развертывании крупных кластеров. DGX 100 устанавливаются в серверные стойки, а Project Digits — на рабочий стол, занимая примерно столько же места, сколько Mac Mini.
Digits работает на базе суперчипа GB10 Grace Blackwell, созданного Nvidia совместно с MediaTek. Графический процессор Blackwell от Nvidia, который, как утверждается, гарантирует производительность 1 петафлопс, объединен с 20-ядерным процессором Grace с помощью технологии NVLink C2C. Кроме того, на плате установлено 128 ГБ памяти LPDDR5X от Micron и твердотельный накопитель NVMe на 4 ТБ. Сетевой адаптер Nvidia ConnectX обеспечивает поддержку технологий NCCL, RDMA и GPUDirect.
Благодаря высокой мощности и компактному размеру, один модуль Project Digits может запускать большие языковые модели с объемом до 200 млрд итераций. Для сравнения, GPT-4 от OpenAI использует 12 млрд итераций, то есть Project Digits может запускать и настраивать ChatGPT локально. При использовании двух модулей («double Digits») поддерживаются модели до 405 млрд итераций.
Project Digits ориентирован на пользователей, которым нужен локальный доступ к мощным вычислительным ресурсам для работы искусственного интеллекта. Эта высокопроизводительная система оптимизирована для ИИ как аппаратно, так и программно. Project Digits поставляется с предустановленным полным набором программного обеспечения Nvidia AI Enterprise, включая библиотеки, фреймворки и инструменты для управления более крупными ИИ-проектами.
Digits можно использовать для связи с облаком через компьютер или как рабочую станцию Linux с операционной системой Nvidia DGX OS. В пресс-релизе Nvidia говорится, что пользователи смогут «создавать прототипы, настраивать и тестировать модели на локальных системах Project Digits», а затем развертывать их в облаке или в собственном дата-центре. Nvidia ориентирует устройство на компании, исследователей и студентов, но, скорее всего, оно заинтересует и продвинутых любителей. «Поместив суперкомпьютер ИИ на стол каждого специалиста по данным, исследователя ИИ и студента, мы предоставим им возможность участвовать в развитии ИИ и формировать его», — сказал глава Nvidia Дженсен Хуанг.
Желающим приобрести Project Digits придется подождать до мая, когда он поступит в продажу по цене от $3000.