网络状态感知的MapReduce作业洗牌数据传输调度研究  

Network-aware shuffle scheduling for MapReduce jobs

作　　者：刘文隆 郭丹[1] 樊玉琦[1] Liu Wenlong;Guo Dan;Fan Yuqi(School of Computer&Information,Hefei University of Technology,Hefei 230009,China)

机构地区：[1]合肥工业大学计算机与信息学院,合肥230009

出　　处：《计算机应用研究》2020年第8期2482-2486,共5页Application Research of Computers

基　　金：国家自然科学基金资助项目(61701162);安徽省自然科学基金资助项目(1608085MF142);电子信息系统复杂电磁环境效应国家重点实验室开放课题(CEMEE2018Z0102B)。

摘　　要：MapReduce作业在洗牌阶段花费大量时间,因此有效的洗牌数据传输调度可以提高MapReduce的性能。数据中心网络中,常有一些周期性的数据流传输。在考虑已知这些周期性数据流传输的情况下,为MapReduce的洗牌数据传输调度问题建立了优化模型,并设计了一个有效的数据传输调度算法。在网络空闲时间段大小相同的情况下,证明了所提算法是近似比为3/2的近似算法。仿真实验结果表明,该算法能够有效地利用网络资源,减少洗牌数据流的调度长度。The shuffle time accounts for a large part of the total running time of MapReduce jobs.Optimizing for the shuffle phase can greatly improve the performance of MapReduce.There are always some periodic data flow in the data center network.This paper formulated the shuffle scheduling problem with the aim to minimize the makespan of MapReduce jobs with future periodic data flow available.Then it proposed an effective algorithm,which was a 3/2-approximation algorithm to the shuffle scheduling problem when all the future idle time slots had the same duration.Simulation results demonstrate the proposed algorithm is very promising,can effectively utilize network resources and reduce the makespan of shuffle.

关 键 词：MAPREDUCE 网络感知 洗牌 调度 

分 类 号：TP393.1[自动化与计算机技术—计算机应用技术]