融合ChineseBERT的电力安全隐患分类研究

作者：孙耀平; 赵洁; 李润伟; 马强; 周琰

来源：电子设计工程, 2023, 31(11): 16-20.

DOI：10.14022/j.issn1674-6236.2023.11.004

• 文本分类
• ChineseBERT
• 简单循环单元
• 软注意力

针对循环模块特征提取能力不强、训练效率低等问题，提出了融合ChineseBERT的电力安全隐患分类模型(ChineseBERT-BiSRU++-AT)。ChineseBERT模型通过结合当前词的上下文动态训练文本向量表示，解决了一词多义问题；BiSRU++模块捕捉长距离序列特征和句子内部依赖信息，软注意力机制计算特征对结果的影响程度，由分类层输出结果。在真实电力公司电网安全隐患数据集的实验结果证明，与其他模型相比，ChineseBERT-BiSRU++-AT模型分类性能最高，F1值达到了97.44%,BiSRU++模块训练效率优于传统循环模块。

• 单位
  国家气象信息中心