科研之友
微信
新浪微博
Facebook
分享链接
摘要
探地雷达单机处理软件性能较低,难以满足较长里程或周期性检测的海量数据处理场景需求。针对这一问题,本文在集群模式下基于Hadoop平台的MapReduce并行计算框架,采用HDFS和MySQL的混合存储方法,对数据流进行细粒度切片,建立主从节点架构的动态调度模式,实现海量检测数据的负载均衡并行处理。在Linux系统搭建了1主+8从的Hadoop集群环境并对其进行了测试试验。结果表明:动态调度可使迭代算法达到负载均衡,高复杂度算法适用于并行处理,性能可提升100倍左右,加速比接近物理核数。
-
单位中国铁道科学研究院集团有限公司; 高速铁路轨道技术国家重点实验室
