科研之友
微信
新浪微博
Facebook
分享链接
摘要
在当前大数据技术蓬勃发展的时代，人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多，任务处理耦合紧但系统部署分散等问题，文中基于Spark Streaming的流式计算框架，研究使用Flume解析收集自动站原始数据，在Spark Streaming中设计融入自动站数据质控算法，最终通过对分布式数据库存储的表设计，使气象自动站数据具备高效率、高质量、高可靠的应用服务能力。性能测试结果表明，基于Spark Streaming的气象自动站数据实时流处理与存储系统，数据从文件采集、解码、流处理至入库的全流程能够在秒级完成，TB级数据查询响应为毫秒级，加权查询为秒级，完全满足自动站数据业务应用需求，从而为进一步提高气象自动站数据质量与服务水平提供基础支撑。
