基于BERT的短文本相似度判别模型

作者：方子卿; 陈一飞^*

来源：电脑知识与技术, 2021, 17(05): 14-18.

DOI：10.14004/j.cnki.ckt.2021.0508

• 词向量模型
• 自然语言处理
• 短文本相似度
• 卷积神经网络
• 循环神经网络

短文本的表示方法和特征提取方法是自然语言处理基础研究的一个重要方向,具有广泛的应用价值。本文提出了BERTBLSTMTCNN模型,该神经网络模型利用BERT的迁移学习,并在词向量编码阶段引入对抗训练方法,训练出包括句的语义和结构特征的且泛化性能更优的句特征,并将这些特征输入BLSTMTCNN层中进行特征抽取以完成对短文本的语义层面上的相似判定。在相关数据集上的实验结果表明:与最先进的预训练模型相比,该模型在有着不错的判定准确率的同时还有参数量小易于训练的优点。

• 单位
  南京审计大学