基于Spark和梯度提升树模型的短期负荷预测

作者：许贤泽; 刘静; 施元; 谭盛煌

来源：华中科技大学学报(自然科学版)科技大学, 2019, 47(05): 84-89.

DOI：10.13245/j.hust.190516

• 负荷预测
• 分布式计算
• 大数据
• 梯度提升树
• Spark平台

利用Spark平台对电力用户侧的大数据进行分析,提出基于梯度提升树的并行负荷预测方法.首先对历史负荷和天气数据集进行并行化分割处理,并采用特征提取与转换方法获取到预测模型所需的特征向量;然后合理设定Spark集群节点数以及调节Hadoop分布式文件系统(HDFS)分块大小;最后将参数调优后的梯度提升树模型部署到Spark分布式平台上进行训练与预测,并将该模型预测结果与其他预测模型进行精度比较.研究结果表明:通过合理划分HDFS中存储块的大小能有效提高集群对于大数据处理的效率,分布式梯度提升树算法在快速性与准确性上均有比较大的优势,能够满足电力负荷预测的要求.

• 单位
  武汉大学