Hadoop平台下数据质量计算方法的实现

作者：张晓曈; 柴旭超; 王文青; 朱飞鸿

来源：信息技术与信息化, 2020, (10): 88-92.

• 分布式
• Hadoop
• 地震数据质量
• ISPAQ

本文基于Hadoop分布式计算思想,利用美国地震学研究联合会(IRIS)数据管理中心(DMC)发布的地震波形数据质量分析工具ISPAQ(IRIS System for Portable Assessment of Quality)对中国地震数据(西安)备份中心存储的测震波形数据资源进行质量分析。本文通过搭建分布式系统计算陕西、宁夏两个区域台网的波形数据质量以及使用MapReduce进一步统计分析,对整个业务框架进行测试实践。测试结果表明分布式架构下中国地震数据(西安)备份中心存储的miniSEED格式测震波形数据使用ISPAQ进行质量计算的可实施性。本文所构建的计算框架不仅便于数据管理者对测震数据质量的把控,同时也便于业界学者择优择需对数据进行使用分析。

• 单位
  中国地震局第二监测中心