一种应用于大规模存储系统的数据分布算法  

Data Placement Algorithm for Large-scale Storage System

作　　者：郑胜[1] 李通[1] 

机构地区：[1]武汉工程大学电气信息学院,武汉430205

出　　处：《计算机科学》2013年第11A期270-273,共4页Computer Science

摘　　要：随着大数据时代的到来,PB级、EB级甚至ZB级数据集出现,存储系统的建设需要根据业务的发展,逐渐进行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法提出严峻挑战。设计了一种新的hash映射算法,该算法引入节点权重和多副本,并考虑节点失效和节点过载情况,能够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时,数据对象及其副本分布在不同的节点上,以及在节点间保持概率上分布的均衡性和迁移数据量最优;针对系统运行过程中节点失效和节点过载,该算法也进行了有效处理,提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系统的伸缩变化,保证了数据分布均匀性和对节点失效和过载的有效处理。With the era of big data coming, t PB and EB even ZPrlevel dataset makes storage system scalable. Traditional data distribution algorithm was confronted with serious challenge because of different performance storage devices added and the old ones quitted, even multiple devices failed simultaneously. A new hash mapping algorithm was proposed which supports the node weight and multi-replica and also considers node failure and node overload. The algorithm can adapt dynamically to change of storage nodes and promises data even distribution probabilistically for different performance nodes. Besides, the one can effectively deal with node failure and node overload which can improve the availability and performance of the system.

关 键 词：分布式文件系统 在线扩展 数据映射 数据迁移 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]