实时计算系统Storm及其应用研究  

Research on Storm System and Applications for Realtime Computation

作　　者：李祖华[1] 张军[1] 聂淼 郑翔[1] 

机构地区：[1]江南计算技术研究所,无锡214000 [2]江南遥感应用技术研究所,上海200072

出　　处：《高性能计算技术》2013年第5期33-38,共6页

基　　金：本文获得国家“863”高技术研究发展计划项目基金（2013AA013203）资助.

摘　　要：随着大数据时代的来临，由新型互联网服务催生出的流式数据处理已成为近年来业界研究的热点之一。Storm是Twitter公司于2011年9月开源的一个实时流式数据处理系统，本文在研究Storm特点与计算模型的基础上，以流式非结构化数据的文本提取、批量加栽为例，对比三种数据规模的流式数据在Storm与传统大规模数据处理系统Hadoop上的处理性能。结果表明，Stom的响应速度明显优于传统批处理系统，在中等精确性计算要求下其性能也具有一定优势。With the emergence of Big Data Age, Stream processing, which derived from new Intemet services, has become one of the hotspots in interrelated fields. Storm is a distributed realtime computation system released as Open Source by Twitter in 2011. This paper deeply focuses on the characteristics and compute models of Storm, taking cases of text extraction and bulk load from unstructured stream as an example, compares the processing results of Storm and Hadoop in three Stream scales. The experiments show that Storm has obvious advantages over traditional batch system in response and performance while dealing with medium stream scale.

关 键 词：分布式计算 流式计算 STORM 

分 类 号：TP316.3[自动化与计算机技术—计算机软件与理论]