基于BERT与密集复合网络的长文本语义匹配模型

作者：陈岳林; 高铸成; 蔡晓东

来源：吉林大学学报（工学版）, 2022, 1-9.

DOI：10.13229/j.cnki.jdxbgxb20220239

• 深度学习
• 长文本语义匹配
• BERT
• 密集复合网络
• Bi-LSTM
• TextCNN

在长文本语义匹配中，捕获前后之间联系以及主题信息具有挑战性，往往使得语义匹配效果不佳。本文提出了一种基于BERT与密集复合网络的长文本语义匹配方法，通过BERT嵌入与复合网络的密集连接，显著提高了长语义匹配的准确率。首先将句子对输入BERT预训练模型，通过迭代反馈得到精准的词向量表示，进而得到高质量的句子对语义信息。其次，设计了一种密集复合网络，先由Bi-LSTM获得句子对的全局语义信息，然后由TextCNN提取并整合局部语义信息得到每个句子的关键特征和句子对间的对应关系，并将BERT与Bi-LSTM的隐藏输出与TextCNN的池化输出融合。最后，汇总训练过程中网络之间的关联状态，可以有效防止网络退化和增强模型判断能力。实验结果表明，在社区问题回答（CQA）长文本数据集上，本文方法效果显著，平均提升幅度达到45%。

• 单位
  机电工程学院; 桂林电子科技大学