基于K-BERT和残差循环单元的中文情感分析

作者：王桂江; 黄润才^*; 黄勃

来源：数据与计算发展前沿, 2023, 5(04): 127-138.

• 简单循环单元
• K-BERT
• 情感分析
• 网络舆论安全

【目的】利用自然语言处理技术可以为网络舆论安全提供技术支持。为解决文本情感分析中存在的循环神经网络无法获取深层加浅层的特征信息，以及动态词向量偏离核心语义的问题，本文提出了基于K-BERT和残差循环单元的K-BERT-BiRESRU-ATT的情感分析模型。【方法】首先使用K-BERT模型获取包含背景知识的语义特征向量；之后使用提出的双向残差简单循环单元（Bidirectional Residual Simple Recurrent Unit, BiRESRU），对上下文特征进行序列提取，获取深层和浅层的特征信息；然后利用注意力机制对BiRESRU的输出进行关键词权重增强；最后使用softmax进行结果分类。【结果】在ChnSentiCorp和weibo数据集上，分别达到了95.6%和98.25%的准确率；在计算速度上较使用其他循环网络每轮迭代减少了接近5分钟，提高了计算效率。【结论】K-BERT-BiRESRU-ATT解决了动态词向量偏离核心语义的问题，获得了深层加浅层的特征信息，加速模型计算的同时也提高了分类准确率，但仍对计算能力有较大需求。

• 单位
  上海工程技术大学