Метод сопряженных градиентов с сокращёнными коммуникациями
Пояснение:
Мы должны сократить обмен зачастую либо в матрично-векторном произведении, либо в скалярном. В конвейерных вариантах есть возможность совместить несколько скалярных произведений и выполнять их параллельно, тем самым инициировать обмен необходимо будет один раз, а не два-три. Ну и другой плюс, это совмещение вычислений с коммуникациями.