基于混合神经网络的自然语言处理技术研究

作者：姬发家; 朱莹; 阴皓; 张菲菲; 王军义

来源：电子设计工程, 2023, 31(10): 92-96.

DOI：10.14022/j.issn1674-6236.2023.10.020

• 语义识别
• 电力指标
• 查询
• BERT

针对当前电网运营数据指标查询便捷性较差的问题，提出了基于BERT的电力指标查询统计专家库模型。该模型采用BERT语言建模方法对电力指标查询统计文本进行了处理，并将其转化为由词向量、句向量及位置向量叠加形成的输入文本向量。同时引入BERT预训练过程来实现上下文依赖关系，以进行初步挖掘。利用基于Transformer模型的深度语义识别模型，通过BERT精调过程深入挖掘输入文本与语义识别结果之间的内在联系。构建了涵盖准确率、召回率的评价指标来评估算法的性能。算例分析结果表明，相比于RNN-LSTM和BiLSTM-Attention模型，所提模型的评价指标更高且计算时间较少，故在准确性与计算速度方面均存在优势；同时将该文所提BERT模型应用于实际电力指标查询文本中，结果发现工作人员对线损率指标尤为关注，应将其作为电力企业运营评估的重要工程指标。