基于HDFS的小文件存储技术研究  

作　　者：高朝艳 鹿虹 黄娟 张一 

机构地区：[1]不详

出　　处：《电信技术研究》2020年第3期10-15,共6页Research on telecommunication technology

摘　　要：大数据平台中的HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)文件系统通用性强、稳定性好,生态圈成熟。通过对HDFS文件系统的研究,在分析了海量数据文件的大小、分布、应用等特点的基础上,针对大容量的信息处理,形成了基于HDFS文件系统合并存储管理小文件的模型。在系统已经使用了HDFS的基础上,为保证技术成熟度、节约成本,在HDFS管理大文件的同时,通过合理设计文件存储大小、优化小文件信息管理等方式,在6节点的HDFS文件系统上实现了小文件写速率峰值2GB/S,读写混合时毫秒级读取文件的能力。实现了基于HDFS的海量大文件、小文件的分类存储。

关 键 词：HDFS:Hadoop Distributed File System Hadoop分布式文件系统 NameNode:名字节点 用来管理文件的名字空间和调节客户端访问文件的主服务器。 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]