蓝鲸机群文件系统的元数据一致性协议  

Metadata Consistency Protocol in Blue Whale File System

作　　者：邵冰清[1] 张军伟[1] 郑彩平[1] 张浩[1,2] 刘振军[1] 

机构地区：[1]中国科学院计算技术研究所数据存储技术研究中心,北京100080 [2]中国科学院大学计算机与控制学院,北京100043

出　　处：《小型微型计算机系统》2015年第5期903-909,共7页Journal of Chinese Computer Systems

基　　金：国家"九七三"重点基础研究发展规划项目(2011CB302304)资助;国家"八六三"高技术研究发展计划项目(2011AA01A102)资助;国家"八六三"高技术研究发展计划项目(2013AA013205)资助;中国科学院战略性先导科技专项(XDA06010401)资助;中国科学院重点部署项目(KGZD-EW-103-5(7))资助

摘　　要：蓝鲸机群文件系统BWFS采用元数据服务器集群以扩展元数据服务能力,多个服务器之间的分布式元数据一致性维护成为必须要解决的问题.然而传统一致性维护协议通常需要多次的网络交互和磁盘同步,阻碍了BWFS元数据性能扩展.BWFS在本地日志系统的基础上设计实现了一种新型的分布式元数据一致性协议.协议针对BWFS中每个分布式元数据操作只涉及到两台服务器,通过在所涉及的两台服务器之间互相保存冗余操作日志,实现了异步的分布式元数据一致性,避免了磁盘同步开销.测试表明,保证一致性的情况下分布式元数据操作的平均响应时间相比无一致性保证仅延长了约5%-15%;在宕机的情况下,单个服务器恢复10000个分布式元数据操作的时间仅1s.Metadata servers cluster is used by BWFS to improve metadata scalability. In metadata servers cluster, there are varieties of metadata operations that manipulate multiple files or directories, creating a critical challenge in maintaining consistency when the files or directories are not on the same MDS. In BWFS,the atomic consistency of distributed metadata operations is implemented based on the local journal. Optimizing for only two metadata servers involved within each distributed metadata operations, BWFS redundantly record redo log in counterpart metadata server by transferring through low latency network. A crashed metadata server can redo the metadata operation with redundant redo log that is stored in the counterpart metadata server. The test results show that the average response time is only increased by about 5%～ 15% than that without consistency guaranteeing and the recovery time is only 1s under 10 thousands uncompleted distributed metadata operations.

关 键 词：机群文件系统 分布式元数据操作 一致性 

分 类 号：TP302[自动化与计算机技术—计算机系统结构]