一种兼顾负载均衡的Hadoop集群动态节能方法  

Combined load balancing and energy efficiency in Hadoop

作　　者：田文洪[1,2] 李国忠[1] 陈瑜[1] 黄超杰[1] 杨吴同 

机构地区：[1]电子科技大学信息与软件工程学院,成都610054 [2]中国科学院重庆绿色智能技术研究院,重庆400714

出　　处：《清华大学学报（自然科学版）》2016年第11期1226-1231,共6页Journal of Tsinghua University(Science and Technology)

基　　金：国家自然科学基金资助项目(61672136,61650110513);四川省科技厅项目(2016GZ0322);中科院西部之光项目(R51A150Z10);重庆市基础研究与前沿技术研究计划项目(cstc2015jcyjB0244)

摘　　要：Hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对Hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于Hadoop平台节点动态管理的系统。通过大量Hadoop经典测试用例测试,结果表明：该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。Hadoop clusters are widely used in enterprises and research institutions but there are few tools in Hadoop to dynamically load balance and improve the energy efficiency. A dynamic load balancing method with negative feedback was developed for a dynamic management system for Hadoop systems and tested using classic Hadoop benchmark examples. This method reduces the total idle time of the Hadoop nodes by 25% and reduces energy consumption by 14% on average compared with other algorithms by improving the load balancing through reducing the load variations by 10%.

关 键 词：分布式计算 HADOOP 调度算法 动态负载均衡 节能调度 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]