融合注意力机制的混合神经网络文本情感分析模型

作者：孔韦韦^*; 田乔鑫; 滕金保; 王照乾; 常亮

来源：电讯技术, 2023, 63(06): 781-789.

DOI：10.20079/j.issn.1001-893x.220115001

• 文本情感分析
• 双向门控循环单元(BiGRU)
• 动态卷积神经网络(DCNN)
• 注意力机制
• 特征融合

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题，并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果，提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network, DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit, BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先，利用宽卷积核提取文本边缘特征，采用动态k-max池化保留了文本的相对位置序列特征。其次，构建了DCNN与BiGRU的并行混合结构，避免了部分特征损失问题，并同时保留局部特征与全局上下文信息两种特征，提高了模型的特征提取能力。最后，在特征融合之后引入注意力机制，将注意力机制的作用全局化，提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比，其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。

• 单位
  桂林电子科技大学; 西安邮电大学