摘要
多维数据重复率过高,即多维数据冗余杂乱,会导致目标数据检索困难,数据计算复杂度提升,为了降低多维数据冗余度,提高目标数据检索效率,提出混合云环境下多维数据安全去重算法。利用小波变换和高白光干涉信号对原始多维数据去噪,根据局部非参数建模方法提取去噪后的多维数据特征;运用Simhash算法和聚类算法,获取多维数据特征的可识别镜像分段聚类结果;利用DBSCAN算法分割以相同镜像分段为单位的同组多维数据,实现整体多维数据的安全去重。仿真结果表明,所提方法计算时间开销少、去重率高。
-
单位呼伦贝尔学院