科研之友
微信
新浪微博
Facebook
分享链接
摘要
文本匹配是自然语言处理领域的核心任务之一，在智能问答和信息检索系统中有广泛应用.近年来，基于预训练模型的文本匹配方法取得了巨大的成功.现存的方法主要使用多层自注意力Transformer网络得到基于上下文的全局向量表示，并通过全连接层进行匹配概率预测，但这种应用方式对于预训练模型输出的句向量特征有很强的依赖，而且忽略了词向量序列之间的空间特征信息，存在一定的局限性.从BERT(Bidirectional Encoder Representation from Transformers)自身结构出发，提出一种基于空间卷积融合（Spatial Convolution Fusion,SCF）的文本匹配方法，在预训练模型的基础上引入卷积网络模块，很好地结合了BERT全局特征向量及其余词向量序列空间特征信息，可以显著提升中文文本匹配效果.具体地，把BERT最后一层Transformer的多头注意力输出看作图像特征输入卷积网络，捕捉新的匹配模式，之后融合卷积输出和原始全局向量用于匹配概率预测.在两个开源数据集和我们的生产数据集上的实验结果证明，提出的模型在中文文本匹配任务上优于一系列预训练基线方法 .此外，该模型在未引入外部知识的情况下，和引入外部知识的方法相比，仍有很强的竞争力，更加符合实际生产需求.
