基于深度学习的词汇表示模型对比研究

作者：余传明^*; 王曼怡; 林虹君; 朱星宇; 黄婷婷; 安璐

来源：数据分析与知识发现, 2020, 4(08): 28-40.

• 词汇表示学习
• 知识表示
• 深度学习
• 文本挖掘

【目的】系统揭示传统深度表示模型与最新预训练模型的原理,探究其在文本挖掘任务中的效果差异。【方法】采用对比研究法,从模型侧和实验侧分别比较传统模型与最新模型在CR、MR、MPQA、Subj、SST-2和TREC六个数据集上的效果差异。【结果】在六个任务中,XLNet模型取得了最高的平均F1值(0.918 6),优于ELMo(0.809 0)、BERT(0.898 3)、Word2Vec(0.769 2)、GloVe(0.757 6)和FastText(0.750 6)。【局限】由于篇幅限制,实证研究以文本挖掘中的分类任务为主,尚未比较词汇表示学习方法在机器翻译、问答等其他任务中的效果。【结论】传统深度表示学习模型与最新预训练模型在文本挖掘任务中的表现存在较大差异。

• 单位
  数学学院; 中南财经政法大学