科研之友
微信
新浪微博
Facebook
分享链接
摘要
大数据时代环境下,火电厂超大规模的数据量以及较高的数据处理时效性要求都对我们能否有效地利用数据进行分析提出了挑战,传统的数据分析方式在性能、时效、精度等方面已不能满足电厂运行人员对设备运行状态精确判断的要求。为此提出一种基于Storm与Kafka集群的数据建模与分析系统,利用Kafka高吞吐量的消息驱动能力和Storm流式计算框架,通过将预置的常用数据处理组件的灵活搭接的方式,满足业务模块数据处理的需求。结果表明,系统可以提高数据建模与分析的效率,能高效地处理火电厂多设备、高维度的实时数据,且具备弹性扩容的能力。
- 单位
