一种改进的Hadoop数据负载均衡算法  

An improved data load balancing algorithm for hadoop

作　　者：刘琨[1,2] 钮文良[1] 

机构地区：[1]北京联合大学应用科技学院,北京102200 [2]吉林大学计算机科学与技术学院,长春130012

出　　处：《河南理工大学学报（自然科学版）》2013年第3期332-336,共5页Journal of Henan Polytechnic University（Natural Science）

基　　金：北京市教育委员会科技计划面上项目(SQKM201211417008)

摘　　要：在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.This paper first introduces the principle of Hadoop and HDFS.Then the algorithm of Hadoop data load balancing is analyzed.This Hadoop algorithm balances the data according to the space usage of each node and does not handle the factors as processing power,bandwidth,files＇ access frequency.Thusly there is a big difference in response time for the similar files.This paper devises a novel load balancing model based on the factors of files＇ size,files＇ concurrent access time,files＇ access frequency,nodes＇ processing power,bandwidth and nodes＇ available storage space.Experimental results show that the devised model cannot only guarantee the storage space load balancing,but also make the similar files＇ response time more consistent.

关 键 词：关键词 HADOOP 负载均衡 云计算 云存储 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]