基于Hadoop的海量小文件存储优化方法

作者：刘君

来源：厦门理工学院学报, 2017, 25(03): 34-39.

DOI：10.19697/j.cnki.1673-4432.2017.03.009

• 小文件存储
• Hadoop
• 小文件归并
• 预取
• 缓存

对基于Hadoop的海量小文件存储进行优化,利用小文件内部存在的相互联系,进行小文件的归并操作;通过索引机制访问小文件及元数据缓存,并利用相关性强的小文件预取机制提高文件的读取效率。实验发现,优化后的方法降低了Hadoop名字节点的内存消耗,减少了查询时耗,提高了系统性能。

• 单位
  潍坊科技学院