一种基于历史信息的一致性Hash集群重复数据删除路由策略

作者：邢玉轩; 肖侬; 刘芳; 付印金; 李芳; 巫小泉

来源：计算机研究与发展, 2014, S2: 182-188.

• 重复数据删除集群
• 路由策略
• 消息请求
• 负载均衡
• 数据缩减率

随着全球数据量爆炸式增长,单节点重复数据删除系统已不能满足系统在吞吐量等方面的性能需求,因此集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的严峻挑战.提出一种基于历史数据信息的一致性Hash路由策略,通过在本地缓存热点数据块指纹,数据路由前先在本地索引,可以大大减少索引消息请求数量,并且采用一致性Hash的路由策略,有效地缓解集群系统中动态扩展存储节点导致的全局数据重删率急剧恶化与负载不均.在3类真实的数据集上进行试验,能减少20%80%的指纹消息请求,动态扩展存储节点导致数据缩减率降低保持在33%以下,并且能够很好地保持系统节点间负载均衡.

• 单位
  国防科学技术大学计算机学院; 解放军理工大学