基于Spark Streaming的电力流式大数据分析架构及应用

作者：田璐; 齐林海; 李青; 王红; 田世明; 卜凡鹏

来源：电力信息与通信技术, 2019, 17(02): 23-29.

DOI：10.16543/j.2095-641x.electric.power.ict.2019.02.004

• Spark Streaming
• 电力流式大数据
• 电力数据分析
• 异常检测

近年来,为了应对许多业务需求的实时性要求,大数据流计算得到了研究。文章通过使用Apache Hadoop、Spark Streaming、Kafka和NoSQL Cassandra等开源资源,提出了一种用于电力流式大数据分析的通用架构。通过高吞吐量发布-订阅消息传递、实时计算和分布式存储系统的结合有效地解决并发访问数据流的收集、存储、实时分析等问题,从而实现电力行业流数据的实时分析。最后构建用电数据实时异常检测系统验证了其性能。

• 单位
  中国电力科学研究院有限公司; 华北电力大学