Hadoop环境下节点负载均衡调度策略的设计与实现  

作　　者：王溪波[1] 王珊珊[1] 王越峰[1] 

机构地区：[1]沈阳工业大学,辽宁省沈阳市110000

出　　处：《电子技术与软件工程》2020年第3期183-185,共3页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

基　　金：辽宁“百千万人才工程”培养经费资助(项目编号:2012921041)。

摘　　要：本文提出一种计算节点负载的任务调度策略,通过节点的本地任务预计完成时间与全部节点执行本地任务的预计完成时间的平均值做比较,小于平均值即为负载较轻的节点,反之较重。在任务的执行过程中根据计算节点的负载情况来进行任务调度,把负载较重的任务适当分给负载较轻的任务,合理进行任务分配,该策略可以减少非本地任务数量的产生,从而减少数据的迁移次数,也可以避免出现某些节点空闲而其他节点任务繁重的情况,从而提高集群处理数据的能力。理论分析和实验验证表明基于数据本地化的节点负载均衡任务调度策略可以提高数据本地性,使数据间的传输更高效,提高系统中资源的利用率。

关 键 词：MAPREDUCE 非本地任务 网络I/O 任务调度策略 预计完成时间 负载均衡 任务分配 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]