基于Hadoop的海量小文件合并的研究与设计  

Research and Design of Massive Small File Merging Based on Hadoop

作　　者：彭建烽 魏文国[1] 郑东炜[1] 

机构地区：[1]广东技术师范学院电子与信息学院,广东广州510665

出　　处：《广东技术师范学院学报》2016年第11期40-42,52,共4页Journal of Guangdong Polytechnic Normal University

基　　金：广东省公益研究与能力建设专项资金(2014A010103032);广东省科技型中小企业技术创新专项资金项目(2016A010120010;2014A010101109;2014A010101092)资助

摘　　要：基于Hadoop海量小文件合并的策略研究,一方面为了减轻Name Node的元数据量,利用Eclipse开发工具实现了Har、HBase、Sequence File三种主流合并方案对海量小文件的合并;另一方面分析这三种主流合并方案在不同场景下性能以及应用方面的优劣,进而为海量小文件在Hadoop上的存储提供一些有价值的参考.The research is based on consolidation of the massive small files storage on Hadoop. On the one hand, in order to reduce the metadata footprint in memory, the different solutions of Har, HBase and sequence were combined by using Eclipse development tools. On the other hand,we analysed the advantages and disadvantages of the performance and application of the three massive file merging solutions, and provided some valuable reference for the storage of massive small files on Hadoop.

关 键 词：HADOOP HDFS 小文件 元数据 Har HBASE SEQUENCE FILE 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]