基于BERT和双通道注意力的文本情感分类模型

作者：谢润忠; 李烨^*

来源：数据采集与处理, 2020, 35(04): 642-652.

DOI：10.16337/j.1004-9037.2020.04.005

• 文本情感分析
• 深度学习
• 基于变换器的双向编码器表征技术
• 双通道
• 注意力
• 双向门控循环单元

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元(BiGRU)神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。

• 单位
  上海理工大学