FlowS:一种MapReduce数据流公平调度方法  

FlowS:A Fair Scheduling Method for Mapreduce Dataflow

作　　者：李奇原[1,2] 刘杰[1] 叶丹[1] 许舒人[1] 

机构地区：[1]中国科学院软件研究所软件工程技术中心,北京100190 [2]中国科学院研究生院,北京100190

出　　处：《计算机科学》2012年第9期157-161,174,共6页Computer Science

基　　金：国家自然科学基金项目(61170074);国家科技重大核高基项目(2010ZX01042-001-001-05);国家科技支撑计划(2011BAH15B05;2012BAH05F02)资助

摘　　要：MapReduce Job的调度机制一直是学术研究的热点。在分析MapReduce数据流调度模型的基础上,提出一种面向MapReduce数据流的公平调度方法FlowS。该方法采用数据流池来分配资源以保证MapReduce数据流的隔离性,并且采用数据流池动态构建算法来确保资源的公平分配。实验表明,该调度方法可以有效提高Hadoop集群对MapReduce数据流的处理效率。MapReduce Job scheduling has been paid great attention in academic research.Based on the analysis of MapReduce dataflow scheduling model,this paper presented a fair scheduling method for MapReduce dataflow-FlowS.This method can not only provide the isolation of MapReduce dataflow through dataflow pools,but also assure the fairness of resource allocation through dynamic construction algorithm.The results of experiences show that the proposed method can improve the processing efficiency of Hadoop Clusters.

关 键 词：MapReduce数据流 资源管理 公平调度方法 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]