相似重复记录检测是数据清洗的重要环节，大数据环境下对相似重复记录检测方法的效率和精度提出了更高的要求。文章针对大数据环境下对相似重复记录检测提出了一种聚类分组检测的KCG算法。该方法首先采用改进的K-modes聚类对大数据进行有效的分组，然后在各分组中采用Pair-wise比较算法检测出所有相似重复记录检测。实验分析结果表明，该方法对大数据环境下的相似重复记录检测的效率和精度有明显提高。
科研之友
微信
新浪微博
Facebook
分享链接
