基于K-means的大数据相似重复记录检测

作者:张平; 程新莲
来源:现代信息科技, 2022, 6(08): 89-91.
DOI:10.19850/j.cnki.2096-4706.2022.08.025

摘要

目前大型企业存储了大量的数据,但是数据质量令人担忧,集中表现在相似重复冗余的数据特别多,以及多个数据源的合并加重数据的冗余。大数据相似记录检测环节是数据清洗研究的重要方向。针对大数据中存在的相似重复数据的检测问题,文章提出了一种基于k-means分组聚类的检测算法,实验分析表明,该方法在确保精度不变的情况下提高了检测效率。

  • 单位
    安徽职业技术学院

全文