MPI Alltoall通信在多核机群中的优化

作者：李强; 孙凝晖; 霍志刚; 马捷

来源：Z201308021, 2013, (08): 1744-1754.

• Alltoall
• 共享
• 竞争
• 首进程数目
• 同步开销 Alltoall
• shared memory
• contention
• leader-based process number
• synchronization overhead

MPI Alltoall是一种重要的集合通信.在多核机群中,一个节点内的多个进程同时参与Alltoall通信.一方面,这些进程可以利用共享内存优化通信性能.虽然当前基于首进程的方法利用共享内存提高了Alltoall小消息通信的性能,但由于采用固定数目的首进程,这些方法不能使所有不同长度的小消息都获得最优性能.另一方面,这些进程需要竞争节点内有限的网络资源.在Alltoall大消息的通信中存在许多个同步消息.然而竞争导致同步消息的延迟增大了数十倍,同步开销不可忽略.针对这些问题,提出了两种不同的优化方法.对于Alltoall小消息通信,PLP方法根据小消息的长度采用不同数目的首进程;对于Allt...

• 单位
  中国科学院计算技术研究所; 中国科学院大学