动态在线Map/Reduce流数据处理模型及作业拓扑管理协议  

Dynamic Online Map/Reduce Stream Processing Model and Topology Management Protocol

作　　者：魏晓辉[1] 李翔[1] 李洪亮[1] 李聪[1] 庄园[1] 

机构地区：[1]吉林大学计算机科学与技术学院,长春130012

出　　处：《吉林大学学报（理学版）》2015年第5期950-955,共6页Journal of Jilin University:Science Edition

基　　金：国家自然科学基金(批准号:61170004);深部探测技术与实验研究专项基金(批准号:SinoProbe-09-01);教育部高等学校博士学科点专项科研基金(批准号:20130061110052);吉林省科技发展计划重点科技攻关项目(批准号:20140204013GX);吉林大学基本科研经费项目(批准号:450060491439)

摘　　要：针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.To meet the requirements for online processing massive stream data,the authors proposed a novel system model,Flexible workflow,which is different from the traditional Map/Reduce stream data processing.This model conducts the online Map/Reduce parallelization of the process unit of workflow and executes a system of SPATE.A set of topology management protocol was designed for dynamic online Map/Reduce stream data processing model.The protocol includes a group of communication rules about setting up,managing and maintaining jobs.The experimental results validate the topology management protocol is effective,and can manage the Flexible workflow processing model availably.

关 键 词：流数据处理 FLEXIBLE workflow模型 MAP/REDUCE 拓扑管理 

分 类 号：TP311.11[自动化与计算机技术—计算机软件与理论]