一种Hadoop异构集群下提高数据本地性的分发算法  

作　　者：陈亮[1] 

机构地区：[1]四川大学计算机学院,四川成都610065

出　　处：《信息通信》2014年第2期53-54,共2页Information & Communications

摘　　要：Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。

关 键 词：HADOOP 异构节点 数据本地性 Map任务 数据分发 

分 类 号：TP302[自动化与计算机技术—计算机系统结构]