科研之友
微信
新浪微博
Facebook
分享链接
摘要
社交平台与网络的飞速发展导致了数据量越来越大，使得实时数据量也成几何增长。实时数据分析越来越重要，已有的实时数据分析系统存在运算能力不足等问题。基于此，提出一种基于Spark的实时数据采集与处理方法。工作在分布式环境下的Spark具有处理大数据量能力，弥补了运算能力不足的问题。结合Flume, Kafka可以聚合多种数据源的特点，即使是不同的数据源Spark也能实时得到监控的数据流，调用Spark streaming模块对数据流实时处理并且可以将处理后的数据转存到其他处理组件或者数据库。实验结果表明，本方法可以对日志文件实时监控与分析并转存，有效的解决了实时数据的处理问题。
-
单位河北建筑工程学院
