基于句法依存卷积神经网络的句子相似度计算

作者：铉静; 吴琼; 魏从悦; 伍星

来源：重庆大学学报, 2020, 43(09): 41-53.

• 句子相似度
• 依存句法树
• 长距离依赖

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN(dependency convolutional neural network)模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP(microsoft research paraphrase corpus)数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK(sentences involving compositional knowledge)数据集上模型的皮尔森相关系数能达到87.5,在MSRvid(microsoft video paraphrase corpus)数据集上模型的皮尔森相关系数能达到92.2。

• 单位
  重庆工商大学; 重庆大学