基于SDN的MapReduce带宽优化设计  

Optimization design of MapReduce based on SDN

作　　者：杨军[1] 吕璐[1] 徐冠[1] 王曼[1] 戴彬[1] Yang Jun;Lyu Lu;Xu Guan;Wang Man;Dai Bin(School of Electronic Information & Communications, Huazhong University of Science & Technology, Wuhan 430014, China)

机构地区：[1]华中科技大学电子信息与通信学院,武汉430074

出　　处：《计算机应用研究》2016年第10期3109-3113,共5页Application Research of Computers

基　　金：国家科技支撑计划资助项目(2012BAH93F01);华中科技大学自主创新研究基金资助项目(2015MS037);国家自然科学基金资助项目(60803005)

摘　　要：在实际Hadoop系统中,如何使作业完成时间最短成为了一个NP完全问题,导致这个问题的主要原因是MapReduce计算过程中大量的数据从Map节点向Reduce节点进行迁移,容易造成网络拥塞,使得数据迁移时间过长。软件定义网络(SDN)实现了路由控制和数据转发的分离,同时使交换机能够对网络中的数据进行灵活处理,使控制器能够知晓全局网络拓扑结构,其集中式管理模式为Hadoop进行性能优化带来了可能性。利用SDN对网络的灵活控制,让Map中间值在Open Flow交换机上进行数据合并,减少数据流量和数据迁移时间,提高Hadoop工作效率。In practical Hadoop systems, how to make the jo b com pletion tim e shorter is the NP com plete problem . The m ainreason for this problem is the long tim e in the process of massive data transm ission fro m the M ap node to the R educe node,which is caused by the netw ork congestion. Software defined n e tw orking com pletely strips out the con trol plane from sw itch andm igrate it in to the c o n tro lle r, enabling the switches to handle the data in netw ork and the con trollers to know global n e tw o rk,w h ich provides the p o s s ib ility o f the MapReduce netw ork op tim ization in the OpenFlow netw ork structure. The paper proposeda m ethod on m erging the M ap interm ediate data on the OpenFlow sw itch to reduce the tim e fo r data transm ission through thefle x ib le control on netw ork o f SDN.

关 键 词：软件定义网络 MAPREDUCE 带宽优化 中间值合并 

分 类 号：TP393.02[自动化与计算机技术—计算机应用技术]