Hadoop集群公平调度算法的改进与实现  

Hadoop Cluster of Fair Scheduling Lgorithms to Improve and Achieve

作　　者：李鑫[1] 张鹏[1] LI Xin,ZHANG Peng（Xi’an University of Architecture and Technology,Xi’an 710055,China）

机构地区：[1]西安建筑科技大学,陕西西安710055

出　　处：《电脑知识与技术》2012年第1期166-168,191,共4页Computer Knowledge and Technology

基　　金：校基金资助（QN1106）测试环境由西安建筑科技大学艺术学院视觉传达实验室中省共建项目设备曙光服务器提供支持

摘　　要：Hadoop作为MapReduce的开源实现被越来越多的企业使用。但是当Hadoop集群中出现较多的小作业时,使用其内置的调度算法就会降低整个系统的吞吐率[1]。该文针对这个不足,提出了基于公平调度的延时调度算法。通过设定一定的延时来保证数据的本地性,实验结果表明改进的调度算法可以提高整个系统的吞吐率。Hadoop is increasingly using for enterprises as an open source implantation of MapReduce.But when Hadoop clusters occur more small job,using its built-in scheduling will reduce the overall system throughput.In this paper,put forward a delay scheduling algo rithm base on fair scheduling aiming at its defect.By setting a delay to ensure the local nature of the data.Experimental results show that the new scheduling algorithm can improve overall system throughput.

关 键 词：公平调度 延时分配 MAPREDUCE HADOOP 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]