基于Self-Attention的方面级情感分析方法研究

作者：蔡阳^*

来源：智能计算机与应用, 2023, 13(08): 150-157.

• 方面级情感分析
• Self-Attention
• Transformer
• SemEval-2014 Task 4
• BERT

针对传统模型在细粒度的方面级情感分析上的不足，如RNN会遇到长距离依赖的问题，且模型不能并行计算；CNN的输出通常包含池化层，特征向量经过池化层的运算后会丢失相对位置信息和一些重要特征，且CNN没有考虑到文本的上下文信息。本文提出了一种Light-Transformer-ALSC模型，基于Self-Attention机制，且运用了交互注意力的思想，对方面词和上下文使用不同的注意力模块提取特征，细粒度地对文本进行情感分析，在SemEval2014 Task 4数据集上的实验结果表明本文模型的效果优于大部分仅基于LSTM的模型。除基于BERT的模型外，在Laptop数据集上准确率提高了1.3%～5.3%、在Restaurant数据集上准确率提高了2.5%～5.5%;对比基于BERT的模型，在准确率接近的情况下模型参数量大大减少。

• 单位
  浙江理工大学