基于Cache的海量图片存取优化方案

作者：陈渝

来源：计算机测量与控制, 2014, 22(08): 2669-2676.

DOI：10.16526/j.cnki.11-4762/tp.2014.08.067

• HDFS
• 海量图片
• 存储优化
• Cache

针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)存储海量图片效率低下的问题,在分析HDFS的基本框架以及其固有的文件读写流程基础上,提出了基于Cache的海量图片存储优化方案(HDFS based on Cache,CHDFS);该方案引入了Cache、预读、文件合并等机制,来提高图片读写的性能,弥补了HDFS存储海量图片时的缺陷;采用图片合并的方式减少Namenode中元数据的个数,同时提高Datanode存储空间的利用率;由于Cache、预读以及图片合并等操作对用户都是透明的,所以,该方案并没有增加用户使用HDFS的复杂性;实验结果表明,CHDFS方法可以有效地提高图片的存取效率。

• 单位
  四川民族学院