支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议  

Flexible Online MapReduce model and topology protocols supporting large-scale stream data processing

作　　者：魏晓辉[1,2] 李翔[1] 李洪亮[1,2] 李聪[1] 庄园[1] 于洪梅[1] 

机构地区：[1]吉林大学计算机科学与技术学院,长春130012 [2]吉林大学符号计算与知识工程教育部重点实验室,长春130012

出　　处：《吉林大学学报（工学版）》2016年第4期1222-1231,共10页Journal of Jilin University:Engineering and Technology Edition

基　　金：国家自然科学基金项目(61170004);国家深部探测技术与实验研究专项项目(SinoProbe-09-01);高等学校博士学科点专项科研基金项目(20130061110052);吉林省科技发展计划重点科技攻关项目(20140204013GX)

摘　　要：针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求。在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议。为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议。通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性。To meet the rapid growing requirements of large-scale data online processing,this paper proposes a Flexible Online MapReduce model and related dynamic topology protocols for streaming data processing.This model is compatible with existing MapReduce application,adopts in-memory computing,and possesses a dynamic job topology.It can support flexible adjustments of large-scale stream data in runtime to meet the requirements of real-time processing,dynamic flow and burst ofdata.Based on Flexible Online MapReduce model,the system architecture is designed to facilitate the model and a series of protocols are introduced,including Online Topology Initialization Protocol（OTIP）,and Online Dynamic Adjusting Protocol（ODAP）for stream data job.To further integrate the system resources,the concept of operation sharing is introduced and Job Sharing Protocol（JSP）is designed.Protocol analyses illustrate that the communicating complexity of the protocol is O（n）,and the system is able to adapt to the burst of stream data.

关 键 词：计算机系统结构 流数据处理 内存计算 MAPREDUCE 拓扑结构 操作共享 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]