基于BERT与注意力机制的方面级隐式情感分析模型

作者:杨春霞; 韩煜*; 陈启岗; 马文文
来源:南京信息工程大学学报(自然科学版), 2023, 15(05): 551-560.
DOI:10.13878/j.cnki.jnuist.20220914001

摘要

在方面级情感文本中存在部分不含情感词的评论句,对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息,并且不能准确提取上下文中深层特征.本文首先构造了方面词感知BERT预训练模型,通过将方面词引入到基础BERT的输入嵌入结构中,生成与方面词信息相关的词向量;然后构造了语境感知注意力机制,对由编码层得到的深层隐藏向量,将其中的语义和句法信息引入到注意力权重计算过程,使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明,本文模型的效果优于基线模型.