基于分级匹配的维吾尔语文档相似性计算及剽窃检测方法

作者：亚森·艾则孜; 艾山·吾买尔^*; 阿力木江·艾沙

来源：计算机应用研究, 2019, 36(06): 1731-1736.

DOI：10.19734/j.issn.1001-3695.2017.12.0853

• 维吾尔语文档
• 相似度
• 剽窃检测
• 文档hash指纹
• 分级匹配

针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题,提出了一种基于内容的维吾尔语剽窃检测(U-PD)方法。首先,通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换,其中提取词干是基于n-gram统计模型实现;然后,通过BKDRhash算法计算每个文本块的hash值并构建整个文档的hash指纹信息;最后,根据hash指纹信息,基于RKR-GST匹配算法在文档级、段落级和句子级将文档与文档库进行匹配,获得文档相似度,以此实现剽窃检测。通过在维吾尔语文档中的实验评估表明,提出的方法能够准确检测出剽窃文档,具有可行性和有效性。

• 单位
  新疆大学; 新疆警察学院