SKA低频成像管线并行优化

作者：韦建文; 张晨飞; 劳保强^*; 林新华; 安涛

来源：中国科学:物理学 力学 天文学 , 2023, 53(02): 21-35.

• 平方公里阵列
• 低频成像
• 高性能计算
• 并行优化

平方公里阵列(Square Kilometre Array, SKA)射电望远镜的数据处理是通过管线方式进行的,管线的执行效率是SKA区域中心考虑的重要因素.连续谱成像观测是SKA的主要观测模式之一,也是许多科学工作的基础.本文以SKA低频先导设备(Murchison Widefield Array, MWA)的成像管线为例,在中国SKA区域中心原型机(China SKA Regional Centre Prototype, CSRC-P)上进行并行处理管线优化.以往的优化方案都集中在少数性能热点,缺乏对整体管线的系统优化,导致整体加速比相对较低.针对这一问题,本文提出一种全局优化方案,针对管线使用多种编程语言和图像数据可独立处理的特点,综合使用C++多线程、Python多进程和Shell多任务并行等优化方法,并验证了优化结果的准确性.实验表明,优化后的代码在CSRC-P的x86节点和ARM (Advanced RISC Machine)节点上分别获得了2.7和2.4倍加速,运行时间分别从7479和9666 s,降低为2759和4061 s. ARM计算节点展现出对SKA应用良好的适应性.本文的优化策略和方法也适用于其他SKA科学应用,对SKA先导望远镜的科学运行和未来的运行也有帮助.

• 单位
  上海交通大学; 中国科学院上海天文台