结合预训练模型和语言知识库的文本匹配方法

作者：周烨恒; 石嘉晗; 徐睿峰

来源：中文信息学报, 2020, 34(02): 63-72.

DOI：10.3969/j.issn.1003-0077.2020.02.008

• 文本匹配
• 预训练模型
• 语言知识库融合

针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。

• 单位
  哈尔滨工业大学（深圳）