大数据处理框架中基于MDP的任务调度算法  

Task Scheduling Algorithm Based on MDP in Big Data Processing Framework

作　　者：冯延蓬[1] 仵博[1] 孟宪军[1] 何国坤[1] 江建举[1] 

机构地区：[1]深圳职业技术学院教育技术与信息中心,广东深圳518055

出　　处：《深圳职业技术学院学报》2014年第1期7-10,共4页Journal of Shenzhen Polytechnic

基　　金：广东省自然科学基金项目(S2011040004769);深圳市科技研发资金项目(JCYJ20120617134831736)

摘　　要：针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(Markov Decision Process,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.A task scheduling algorithm based on Markov decision process is proposed to address the problem of task scheduling in MapReduce framework. The algorithm describes the load of node in cluster and data localization using state space. The state transfer function represents the influence scheduling strategy of the state. The optimal scheduling policy is obtained by solving the MDP using value iteration. The experimental results show that this algorithm can guarantee the data locality, reduce job response time and improve the overall performance of the system.

关 键 词：大数据 MAPREDUCE MARKOV决策过程 任务调度 

分 类 号：TP309[自动化与计算机技术—计算机系统结构]