基于Hadoop平台的海量文件存储策略研究  

Hadoop-based Storage Strategy for Mass Files

作　　者：江建举[1] 仵博[1] 孟宪军[1] 冯延蓬[1] 何国坤[1] 

机构地区：[1]深圳职业技术学院教育技术与信息中心,广东深圳518055

出　　处：《深圳职业技术学院学报》2014年第3期67-70,共4页Journal of Shenzhen Polytechnic

基　　金：广东省自然科学基金资助项目(S2011040004769);深圳市科技研发资金资助项目(JCYJ20120617134831736)

摘　　要：针对传统HDFS在存取海量小文件时出现的I/O性能瓶颈问题,本文提出了一种优化的HDFS存取策略.通过文件预处理、增加元数据信息和元数据批处理操作等优化策略,比较好地解决了传统HDFS处理海量小文件的性能问题.并通过试验证明了该方法的有效性.In order to solve the performance bottleneck of small files I/O in classic HDFS, this paper proposes an optimal HDFS storage strategy characterized by file preprocessing, metadata information expansion, and improved metadata mass operation. Tests indicate that the optimal strategy can improve the mass small files I/O performance for HDFS.

关 键 词：HADOOP HDFS 小文件 存取策略 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]