基于编辑距离的词序敏感相似度度量方法

作者：张雷; 崔荣一^*

来源：延边大学学报(自然科学版), 2020, 46(02): 140-144.

DOI：10.16379/j.cnki.issn.1004-4353.2020.02.008

• 文本相似度
• 词袋模型
• 编辑距离
• 词序

为改善余弦相似度不能反映词袋模型中词项间顺序差异的缺点,提出了一种基于编辑距离的文档相似度度量方法.首先分析了基于tf-idf的词袋模型和余弦相似度计算方法所存在的问题;其次利用Jaccard系数和编辑距离描述两个字符串的公共子串中词语之间的顺序差异,并提出了一种词序敏感相似度计算方法;最后利用实验数据对算法的有效性进行了验证,结果显示本文方法在Top1、Top3上的F1指标比原始的余弦相似度方法分别提高了0.082 5、 0.112 6,表明本文方法能够有效地提升信息检索系统的性能,具有很好的应用价值.

• 单位
  延边大学