基于BERT与图像自注意力机制的文本匹配模型

作者：宋爽; 陆鑫达

来源：计算机与现代化, 2021, (11): 12-21.

• 匹配矩阵
• 图像自注意力机制
• 特征融合
• 文本匹配
• BERT模型

为了提高文本匹配的准确率,针对BERT(Bidirectional Encoder Representations from Transformers)模型和MatchPyramid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型。首先,利用BERT模型将一对文本编码为单词级别的特征向量。其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示。然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵。最后,将匹配矩阵与自注意力特征矩阵连接为多通道,利用卷积神经网络捕获图像中的文本匹配信号,并将匹配信号与BERT模型输出的[CLS]编码向量连接后,输入全连接层得到2段文本的相似度。实验结果表明,该模型在Wiki QA数据集上相比于BERT模型、MatchPyramid模型和其他文本匹配模型,可以有效地提高MAP和MRR衡量指标,验证了该模型的有效性。

• 单位
  西安邮电大学