复杂异构计算系统HPL的优化

作者：黎雷生^*; 杨文浩; 马文静; 张娅; 赵慧; 赵海涛; 李会元; 孙家昶

来源：软件学报, 2021, 32(08): 2307-2318.

DOI：10.13328/j.cnki.jos.006003

• 复杂异构系统
• 平衡点理论
• panel分解加速
• 连续流水线算法

当今世界的主流超级计算机越来越多地使用带有加速器的异构系统.随着加速器的浮点性能不断提高,超级计算机内计算节点的CPU、内存、总线、网络以及系统架构都要与之相适应.HPL(high performance Linpack)是高性能计算机评测的传统基准测试程序,复杂异构系统给HPL评测带来很多机遇与挑战.针对带有GPU的异构超级计算机系统,提出一套新的CPU与加速器计算任务分配方式,提出平衡点理论指导HPL性能优化.为了优化HPL程序,提出了使用CPU与加速器协同工作的look-ahead算法和行交换连续流水算法,实现了加速器、CPU、网络等部件的高度并行.此外,为带有加速器的系统设计了新的panel分解和行交换的实现方法,提高了加速器的利用率.在每个节点带有4个GPU的系统上,单节点HPL效率达到了79.51%.

• 单位
  计算机科学国家重点实验室; 中国科学院软件研究所