HDFS数据副本优化放置策略研究

作者:袁爱平; 邓河; 陈为满
来源:电脑与信息技术, 2022, 30(05): 49-51.
DOI:10.19414/j.cnki.1005-1228.2022.05.012

摘要

HDFS(Hadoop Distributed File System)默认随机选择副本存储位置,未充分考虑数据节点的差异性。文章提出了一种改进的数据存放策略,使用多目标优化方法选取机架,通过计算集群和节点的使用率,择优选择存放节点。实验结果表明,改进后的策略优化了集群中节点的负载均衡,提高了数据读取性能。

  • 单位
    长沙民政职业技术学院