基于Hadoop的重复数据删除技术研究

作者：郭强

来源：现代信息科技, 2019, 3(03): 142-144.

• Hadoop
• 重复数据删除技术
• TDOB算法

重复数据删除技术和云计算技术正在快速发展,但是Hadoop系统也仍然存在一些影响系统归档处理效率的因素。针对这个问题,文章提出一种新的增量指纹算法和改进TTTD算法——TDOB,并将这类算法应用到Hadoop分布式系统中,分析重复数据删除技术在Hadoop中的应用。

• 单位
  辽宁师范大学海华学院