基于双向预训练语言模型的文本情感分类

作者：马力; 王璐琳

来源：西安邮电大学学报, 2020, 25(05): 80-86.

DOI：10.13682/j.issn.2095-6533.2020.05.014

• 文本情感分类
• 一词多义
• 特征融合
• 双向语言模型
• 微调

针对Word2vec和GloVe等词嵌入方法无法学习相同词汇在不同上下文中的一词多义,以及单向语言模型的特征融合能力较弱的问题,提出一种基于双向预训练语言模型的文本情感分类方法。在大型通用语料库上利用双向Transformer语言模型进行无监督的训练,得到预训练语言模型。在预训练语言模型的输出层上添加一层softmax网络,并在文本情感分类的任务语料上微调模型,利用该模型进行文本情感分类。实验结果表明,该方法在SST-2和Yelp14数据集上分类的准确率分别提高了1.8%和1.4%,有效地提高了情感分类准确率。

• 单位
  西安邮电大学