科研之友
微信
新浪微博
Facebook
分享链接
摘要
以海量半结构化的气象数值预报数据产品为研究对象,针对传统数据抽取方法效率不高的问题,基于多进程处理技术,设计了一种基于精准位置寻址的快速数据块定位算法,实现了数据块的精准定位;设计了可按需在空间范围内进行裁剪的截取算法,可按需根据数据的属性维度、经纬度范围等信息实现数据按需抽取;基于上述算法实现了全流程统一控制的多进程数据读取的业务流程.并以单平面耗时为主要考核指标,分别采用1进程, 4进程、8进程以及16进程进行数据处理,实际测试结果表明,采用16进程处理比单个进程处理的速度由257 ms提高到37 ms.该方法有效的提升非结构气象数值预报产品数据的抽取效率,已在面向城市治理等气象决策分析业务中业务化应用.
- 单位
