基于Hadoop大数据集群的水电机组数据运维平台

作者：孟繁欣; 张蕾; 王润鹏; 宋明钰; 林子阳

来源：水利水电技术(中英文), 2021, S1: 92-97.

DOI：10.13928/j.cnki.wrahe.2021.S1.016

• Hadoop
• 特征数据样本
• 分类管理

针对电站历史运行数据存储与分析挖掘问题,提出一套针对大数据进行数据运维的平台设计理念。该方法采用基于可扩展性的架构理念,JAVA(编程语言)语言开发。针对电站不同监控厂家运行数据和特征数据样本,采用Hadoop大数据集群与电站历史数据结合,确保电站数据实现分类管理,为数据挖掘提供数据平台支撑,平台采用数据总线的形式对外提供数据服务,内部集成数据预处理、数据清洗、数据挖掘内部算法模块,将处理好的数据进行分类存储,便于后续深度挖掘和用户查询使用,扩展了数据的有效性和深度,提高了数据的利用价值。本文的大数据管理平台为电站海量历史数据运维和管理提供了有效支撑,为电站保存和挖掘数据财富提供了有效途径。数据运维管理平台与外界数据传输采用了可扩展性的交互方式,便于日后平台的扩展和升级,平台具备电站之间平行迁移的松耦合性,成为一套完整可靠的运维管理平台。

• 单位
  哈尔滨电机厂有限责任公司