一种自适应的分布式数据流处理调整技术  

An Adaptive Adjustment Technology of Distributed Data Stream Processing

作　　者：马元文 王鹏[1] 周之敏 汪卫[1] 

机构地区：[1]复旦大学计算机科学技术学院上海市数据科学重点实验室,上海201203

出　　处：《计算机工程》2015年第12期15-20,25,共7页Computer Engineering

基　　金：国家自然科学基金资助项目(61103009);上海市科委大数据专项基金资助项目(13511504800)

摘　　要：由于数据流速率的不稳定特性,将数据流查询部署在固定数量的结点上会导致分布式数据流管理系统(DDSMS)难以高效地利用计算资源。为此,针对目前支持一个结点运行多个实例模式的DDSMS,提出一种基于操作符组的自适应动态调整技术,包含桶机制的路由管理、生成调整策略和调整执行计划等方法。通过监控当前执行计划的运行状态,DDSMS生成代价较小的调整策略,并对当前执行计划进行调整。在数据流处理的基准测试数据上进行实验,结果表明,该调整技术可以更加细粒度地制定调整策略,灵活应对数据流速率的变化。As the rate of stream data is various,it is hard to effectively use computing resource when deploying data stream query on a fixed number of nodes.For the multi-instance-per-node execution model adopted by the current Distributed Data Stream Management System（DDSMS）,this paper presents an operator group based adaptive dynamic adjustment technology which contains the approaches of bucket based routing management,adjustment strategy making and adjustment execution.Based on executing status of current execution plan,DDSMS makes adjustment strategy and adjusts current execution plan according to the adjustment strategy.Through testing the adjustment technology using benchmark of stream processing,results show the effectiveness of the proposed technology.

关 键 词：数据流查询 分布式 动态调整 状态管理 调整策略 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]