科研之友
微信
新浪微博
Facebook
分享链接
摘要
Hadoop分布式框架被广泛应用于各行业大数据处理领域，但在存储大量小文件时会产生更多的元数据信息，导致名称节点的内存占用过多，影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储，是有效解决该问题的常用方案。同时，考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载，本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法 LA(LZO-Archive)。该方法先对小文件进行归档合并，在索引文件生成阶段融合LZO压缩算法，减少索引文件的生成时间。同时，设计一种文件压缩存储算法，对数据文件和索引文件进行压缩存储，有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小。实验结果表明，相对于原始的HDFS数据存储方法、基准的文件归档方法 HAR以及对比方法 LHF，本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好。
- 单位
