一种细粒度均衡的新型分布式文件放置算法

作者：刘硕; 辛刚

来源：电脑与电信, 2018, Z1: 41-43.

DOI：10.15966/j.cnki.dnydx.2018.z1.012

• 放置算法
• 分布式文件存储系统
• 文件访问热度
• 负载均衡
• 细粒度相似

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。

• 单位
  中国航空工业集团公司西安航空计算技术研究所