一种中尺度数值预报模式数据并行传输应用研究

作者：赵磊; 高松; 吴钲; 杜钦

来源：气象科技进展, 2019, 9(06): 20-25.

• 数值预报模式
• 并行传输
• 数据分治策略
• Rsync

以重庆中尺度数值预报模式为例,设计开发一种针对中尺度数值预报模式海量数据的并行传输程序,提高数据传输的效率。重庆中尺度数值预报模式每天输出的大量数据需传输到数据管理服务器处理和备份。目前模式的数据传输任务是以scp单核串行程序为主,数据传输时间长,不能充分利用处理器核和网络带宽,未有效满足重庆天气预报业务对模式数据及时使用的需求;设计开发的并行传输程序以进程池为主要架构,采用Rsync代替scp提高模式数据传输速率;同时,基于输出的模式数据的特征实现多种数据分治策略,对比选择最佳的数据分治策略;结果表明基于最佳数据分治策略的并行传输程序能够极大减少数据传输时间,极大利用空闲的处理器核和网络带宽资源。

• 单位
  重庆市气象科学研究所