基于注意力机制的混合神经网络电力设备缺陷文本挖掘方法

作者：王宣军; 于虹; 祁兵^*; 李彬

来源：电力信息与通信技术, 2023, 21(09): 44-51.

DOI：10.16543/j.2095-641x.electric.power.ict.2023.09.07

• 注意力机制
• 卷积神经网络
• 双向长短期记忆网络
• 混合神经网络
• 状态评价

电网在运行过程中会产生大量的设备缺陷文本记录，针对变电设备缺陷文本的特点，文章提出了基于注意力机制的混合神经网络(hybrid neural network based on attention mechanism,HNNA)电力设备缺陷文本挖掘方法。首先在总结电力设备缺陷文本特点的基础上，参考中文文本分类的一般流程，结合自主编写的词典和停用词表对缺陷文本进行预处理；利用Word2vec模型将词语映射到高维空间；使用卷积神经网络(convolution neural network,CNN)和双向长短期记忆网络(bidirectional long short term memory,BiLSTM)提取文本局部特征和上下文特征；将提取的特征进行融合，最后采用Attention实现特征权重的分配，增强关键特征对分类效果的影响，并从多个评价维度与传统机器学习模型、深度学习模型对比。算例结果表明，提出的模型具有更好的分类效果，可以实现电力设备缺陷等级的高效准确划分。

• 单位
  华北电力大学; 电子工程学院; 云南电网有限责任公司电力科学研究院