基于注意力机制与情感的多通道RCNN和ON-LSTM模型

作者：陶永才; 吴文乐; 石磊; 卫琳

来源：小型微型计算机系统, 2022, 43(07): 1406-1412.

DOI：10.20009/j.cnki.21-1106/TP.2020-1096

• 方面级情感分析
• 多通道
• ON-LSTM
• 卷积神经网络
• 注意力机制

近年来在方面级情感分析任务上，基于卷积神经网络和循环神经网络的模型取得了不错的效果，但仍存在着文本长距离依赖问题.有序神经元长短时记忆(ON-LSTM)可建模句子的层级结构，解决文本长距离依赖问题，但会忽略文本局部特征.区域卷积神经网络(RCNN)能提取文本不同区域的局部特征，却无法有效提取文本的上下文语义，而且现有模型均未考虑到情感词与句子上下文的联系.针对这些问题，本文提出一种基于注意力机制与情感的多通道RCNN和ON-LSTM的神经网络模型(MCRO-A-S).首先，向上下文词向量中融入情感特征向量，弥补仅使用上下文词向量作为模型输入的不足.其次，结合RCNN模型提取文本局部特征与ON-LSTM模型提取文本上下文语义信息的优势，可有效提高模型特征提取能力.最后，利用注意力机制融合语义信息，给予情感词更多的关注.在SemEval 2014两个数据集和Twitter数据集上验证模型的有效性，取得了比其他模型更好的分类效果.

• 单位
  郑州大学