融合BERT的多层次语义协同模型情感分析研究

作者：胡任远; 刘建华; 卜冠南; 张冬阳; 罗逸轩

来源：计算机工程与应用, 2021, 57(13): 176-184.

• 深度学习
• 文本情感分析
• 基于变换器的双向编码器表征技术(BERT)
• 卷积神经网络(CNN)
• 协同结构

由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。

• 单位
  福建工程学院