基于MPI的分布式数据处理系统

作者：赵宝琦; 李卫东; 邹佳恒; 林韬; 颜田

来源：计算机工程, 2019, 45(07): 20-25.

DOI：10.19678/j.issn.1000-3428.0051077

• 高能物理
• 江门中微子实验
• 离线数据处理
• 分布式计算
• 信息传递接口

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。

• 单位
  中国科学院大学; 中国科学院高能物理研究所