NVIDIA представила архитектуру Blackwell: совместная работа двух кристаллов

Последние месяцы NVIDIA можно назвать очень успешной компанией. Бум ИИ помогает получать миллиардные прибыли, спрос на ускорители все еще не иссяк, GPT-3 – это только начало. Текст, аудио, видео, 3D, физика, медицина - во всех этих областях сегодня существуют собственные подходы генеративного ИИ, которые объединяются в мультимодальные ИИ для совместной работы над решениями и предоставлении услуг.

Такие модели, как Gemini от Google, NLLB от Meta, Mistral от Maxtral или GPT-4 от OpenAI, представляют собой так называемые смеси экспертов (Mixtures of Experts, MoEs), спектр функций которых постоянно расширяется. Огромные массивы данных для тренировки, все более длинные и подробные запросы, более высокие требования к выдаче в реальном времени ставят все более сложные задачи перед аппаратным обеспечением, которые NVIDIA пока решает с помощью архитектуры Hopper.

На GTC в Сан-Хосе генеральный директор Дженсен Хуан ...