基于分布式架构的海量文本快速相似度检测研究

作者：晋晓琳; 张树武; 刘杰

来源：中国传媒大学学报(自然科学版), 2019, 26(01): 39-44.

DOI：10.16196/j.cnki.issn.1673-4793.2019.01.007

• 文本相似
• Elasticsearch
• TF-IDF
• Simhash
• 余弦相似度

为了在海量文本中快速精确的找到所需文本,本文提出了一种基于分布式架构的海量文本相似度检测方法。首先使用TF-IDF进行文本特征提取,然后用分布式搜索引擎Elasticsearch召回候选样本集,最后采用余弦相似度算法计算最终相似度。在全文粒度和句子粒度上,通过与指纹算法Simhash以及Simhash算法结合余弦相似度算法实验比较发现,本方法在准确率和速度上都有明显的优势,因此能够满足海量文本快速相似度检测的要求。

• 单位
  中国科学院自动化研究所; 北京电影学院; 中国传媒大学