RoCE协议下基于在网计算的MPI通信优化

作者：李嘉群; 蔡文杰; 沈瑜; 齐法制; 曾珊; 李京^*

来源：计算机系统应用, 2022, 31(11): 320-329.

DOI：10.15888/j.cnki.csa.008809

• 在网计算
• RoCE协议
• MPI
• 通信优化
• 高性能计算

高性能计算中,通信上的巨大开销已成为其算力提升的主要瓶颈之一,通信性能的优化一直是一个重要挑战.针对通信优化任务,提出一种基于在网计算技术降低通信开销的方法.该方法在基于以太网的超算环境下,利用RoCEv2协议、可编程交换机以及OpenMPI,实现将归约计算卸载到可编程交换机,支持Node和Socket两种通信模式.在真实超算环境下开展了集合通信基准测试和OpenFOAM应用测试实验,结果表明,当服务器节点数达到一定规模时,该方法在Node和Socket两种模式下相较于传统的主机通信,均呈现出较好的性能提升,其中集合通信基准测试有10%–30%左右性能提升,在应用级测试中应用整体性能有1%–5%左右提升.

• 单位
  中国科学院高能物理研究所; 中国科学技术大学