基于Spark Streaming的实时日志处理平台设计与实现  

Real-time log processing system based on spark streaming

作　　者：薛瑞[1,2] 朱晓民[1,2] 

机构地区：[1]北京邮电大学网络与交换技术国家重点实验室,北京100876 [2]东信北邮信息技术有限公司,北京100191

出　　处：《电信工程技术与标准化》2015年第9期55-58,共4页Telecom Engineering Technics and Standardization

基　　金：国家973计划项目(编号:2013CB329102);国家自然科学基金资助项目(编号:61471063;61421061;61372120;61271019;61101119;61121001);教育部科学技术研究重点(重大)项目资助(编号:MCM20130310);北京市自然科学基金资助项目(编号:4152039);北京高等学校青年英才计划项目(编号:YETP0473)

摘　　要：本文基于Hadoop Yarn平台,通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等,很好地解决了目前存在的问题,并使用HBase(Hadoop No SQL Database)作为数据库存储,更好地适应日志数据规模的增长。For the purpose of solving the current problem, it proposes a system based on Hadoop yarn platform, whichcan process web logs, system logs and monitor logs by deploying Spark Streaming.In addition, the systemcan adapt to the growth of the scale of data in a better way by using HBase （Hadoop Database） as storage.

关 键 词：HADOOP SparkStreaming 实时日志处理系统 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]