ON-LSTM和自注意力机制的方面情感分析

作者：张忠林; 李林川; 朱向其; 马海云

来源：小型微型计算机系统, 2020, 41(09): 1839-1844.

• 情感分析
• ON-LSTM
• 注意力机制
• ELMo

方面情感分析是更细粒度的文本情感分析,传统的方法是采用长短时记忆神经网络和注意力机制相结合,但实际并未考虑到方面情感特征项与句子上下文之间的联系,并且在预训练阶段通常使用静态语言模型,无法根据需要调整输入词向量.针对以上两个问题,本文提出一种基于有序神经元长短时记忆和自注意力机制的方面情感分析模型(ON-LSTM-SA).首先,利用深层语境化词表征(ELMo)进行语料的预训练.其次,在隐藏层采用ON-LSTM神经网络模型从上下文的左右两个方向同时进行训练,获取方面情感特征项与句子之间的层级结构关系.最后,根据自注意力机制计算内部的词依赖关系.该模型通过在SemEval2014和SemEval2017中的Laptop、Restaurant和Twitter三个数据集上进行实验,与传统LSTM模型相比分别提升了2.1%、5.9%和6.5%.

• 单位
  兰州交通大学; 天水师范学院