Hadoop云平台下基于资源预估的作业调度算法  

Job scheduling algorithm based on data-aware in Hadoop

作　　者：卢慧[1] 高弘博[1] 张丰满[1] 王梅[1] 肖震[2] 

机构地区：[1]成都纺织高等专科学校软件测试中心,成都611731 [2]中国建设银行武汉数据中心,武汉430070

出　　处：《计算机应用研究》2016年第8期2311-2314,共4页Application Research of Computers

基　　金：四川省科技厅基金资助项目(2012FZ0081)

摘　　要：为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进延迟调度策略。实验结果表明,该算法能够满足作业对时间约束的需求,提升系统的资源利用率。In order to satisfy the deadline constraints in Hadoop, this paper proposed a job scheduling algorithm based on data- aware. This algorithm proposed a resource estimation model and computed job＇ s deadline, then optimized the delay strategy ac- cording to resource locality. Through analyzing the result of experiments, this algorithm can satisfy the deadline constraints and improve the efficient in Haoop.

关 键 词：HADOOP 云平台 时间约束 资源预估 作业调度 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]