基于BERT与BiLSTM的中文短文本情感分析

作者：刘文秀; 李艳梅; 罗建; 李薇; 付顺兵

来源：太原师范学院学报(自然科学版), 2020, 19(04): 52-58.

• 文本情感分析
• 上下文信息
• 双向长短时记忆网络
• 预训练语言模型
• 字向量

为了减少文本情感分析方法中对分词准确性的依赖程度,同时,也为了解决一词多义的问题,提出了一种基于BERT和双向长短时记忆网络(BiLSTM)的文本情感分类模型.首先,该模型采用BERT(Bidirectional Encode,Representation from Transformers,BERT)预训练的字向量替代传统方式训练的词向量,然后利用BiLSTM对文本上下文进行关系特征提取,最后再利用Softmax分类器获得文本所属情感类别.实验证明,与LSTM、BiLSTM、TextCNN和BERTLSTM模型相比,该模型在综合评价指标F1上分别提高了6.78%、6.74%、2.52%和1.01%;测试集正确率分别提升了6.66%、6.31%、1.95%和0.85%.

• 单位
  西华师范大学