面向海量数据的在线流数据服务框架  

MASSIVE DATA-ORIENTED ONLINE STREAMING DATA SERVICE FRAMEWORK

作　　者：杨臻[1] 杨志宏[2] 肖汉[1] 

机构地区：[1]郑州师范学院信息科学与技术学院,河南郑州450044 [2]中州大学信息工程学院,河南郑州450044

出　　处：《计算机应用与软件》2016年第3期56-61,79,共7页Computer Applications and Software

基　　金：河南省重点科技攻关项目(132102310003);中国博士后科学基金项目(2012M510110)

摘　　要：针对多应用共享海量流数据的问题,提出一个在线流数据服务框架。通过对多应用共享流数据场景进行分析和抽象,设计具有数据层、管理层和接口层的在线流数据服务框架。框架将流数据管理划分为索引建立、注册器、匹配器和内存清理四个组成部分,并且通过一个专用的数据管理引擎对流数据进行管理。框架的提出为多应用流数据共享场景提供了一种统一管理流数据的方案。实验结果表明,相对与传统数据库,在线流数据服务框架在流数据写入速度能提高近5倍,在流数据的读取速度上提高4倍左右。To handle the problem of sharing massive streaming data between different applications,we proposed an online streaming data service framework. By analysing and abstracting the scene of sharing streaming data by multi-application,we designed a three-tier online streaming data service framework consisting of data tier,management tier and interface tier. The framework divides the streaming data management into four components including index building,registrar,matcher and memory cleaning,and manages the streaming data by a special data management engine. The presentation of the framework gave a solution of uniform streaming data management to the scene of streaming data sharing by multi-application. Experimental results showed that,relative to traditional database,the writing speed of the proposed service framework increased nearly 5 times,and the reading speed increased by 4 times.

关 键 词：流数据 在线服务 海量数据管理 数据服务框架 数据管理引擎 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]