分布式文件系统中海量小文件异步创建技术  

An Asynchronous Creation Technology for Massive Small Files on Distributed File System

作　　者：杨洪章[1,2] 张军伟[1] 齐颖[1,2] 吴雪丽 

机构地区：[1]中国科学院计算技术研究所,北京100190 [2]中国科学院大学,北京100039 [3]中软信息系统工程有限公司,北京100081

出　　处：《网络新媒体技术》2015年第2期16-23,共8页Network New Media Technology

基　　金：国家高技术研究发展计划(863)项目"融合网络业务体系的开发"(编号:2011AA01A102)资助;国家高技术研究发展计划(863)项目"基于新型存储器件的存储系统结构与技术"(编号:2013AA013201)资助;国家高技术研究发展计划(863)项目"面向大数据高效存取的新型存储技术及其应用示范"(编号:2013AA013205)资助;国家重点基础研究发展规划(973)项目"存储服务关键支撑技术研究"(编号:2011CB302304)资助;中国科学院战略性先导科技专项"海云计算系统研究"(编号:XDA06010401)资助;中国科学院重点部署项目"NGB有线无线融合组网关键技术研究与示范"(编号:KGZD-EW-103-5(7))资助

摘　　要：海量小文件应用已经渗透到高性能计算、企业办公、互联网等多个领域。由于小文件主要存储在分布式文件系统中,海量小文件访问性能已经成为分布式文件系统亟待解决的难题。影响性能的关键因素是高比例高并发的元数据同步访问,尤其在高并发小粒度创建应用中,元数据同步网络交互增加了小文件访问延迟。本文以p NFS分布式文件系统为基础,研究降低海量小文件创建应用延迟的关键技术,设计并实现了一种基于目录可写授权的全异步客户端文件创建框架及其优化技术,测试表明,该技术可将分布式文件系统小文件创建性能提升近500倍。Massive small files are widely existed in the fields of high -performance computing, corporate office and Internet applications. While mainly stored in distributed file systems, the performance of accessing small files has become a pressing issue in distributed file systems. The key reason for the poor performance is the high proportion of large scale concurrent synchronous access to metadata; too much metadata synchronization can incur lots of network overhead, leading to the delay of accessing small flies, especially in applications which exhibit a high degree of concurrency in creating files in finer granularity. In this paper, based on the pNFS distributed file system, we conduct an in - depth analysis of the key technology of lowering the delay of creating massive small files ; we also design and implement a directory write delegation based, optimized framework with fsully asynchronous creation of files at client side. Test results show that, compared with PNFS, Creation performance may increase nearly 500 times.

关 键 词：海量小文件 低延迟 文件创建 缓存 

分 类 号：TP316.4[自动化与计算机技术—计算机软件与理论] TP333[自动化与计算机技术—计算机科学与技术]