基于多模型加权组合的文本相似度计算模型

作者：刘栋; 杨辉; 姬少培^*; 曹扬

来源：计算机工程, 2023, 49(10): 97-104.

DOI：10.19678/j.issn.1000-3428.0066057

• 文本特征
• 多词嵌入
• 多层次比较
• 浅层语法树
• 线性加权
• 文本相似度

针对传统文本相似度计算模型存在的未考虑语义及结构信息、容易忽略文本特征细节信息等问题,建立一种基于多模型加权组合的文本相似度计算模型。在考虑次序、主题、语义等内容的基础上，对句子的每个单词进行嵌入表示，利用最大池化操作和Bi-GRU神经网络作为编码器生成关于句子的嵌入表示，通过多层次的比较来学习句子嵌入之间的相似性关系。对文本转换进行结构化表示，提取基于短语的浅层语法树结构化特征作为Tree-GRU的输入进行文本相似度计算。将上述2个计算结果进行加权处理，获取文本相似度的最终计算结果。实验结果表明：当权重参数C1和C2分别取值0.6和0.4时该模型具有最优的相似度计算结果；在STSB数据集上模型的精确率、召回率和F1值分别达到90.32%、90.89%和90.52%；在SICK数据集上精确率、召回率和F1值分别达到85.41%、85.95%和85.61%；在MRPC数据集上精确率、召回率和F1值分别达到90.32%、90.89%和90.52%。该模型可以充分利用文本的多层次内容信息及结构化信息，适用于处理复杂的长文本，相对于DT-TEAM、ECNU等模型能取得更好的文本相似度计算结果。

• 单位
  中国电子科技集团公司第三十研究所