针对快速增长的井喷式状态监测数据,文章提出一种大数据分析方法。介绍了目前大数据流式数据实时分析技术和实时批处理技术,在Hadoop框架下结合状态监测系统的数据特点建立基于Kafka+Storm+Spark+Hadoop的实时分析架构,该分析架构能保证所有的监测数据及流数据都能被及时有效处理,防止数据接入速率不匹配造成的数据丢失,将处理后的状态监测数据保存到分布式文件系统或实时数据库中并深度分析,实现了海量井喷状态监测数据快速、有效的分析处理。
科研之友
微信
新浪微博
Facebook
分享链接
