Spark Streaming写入HBase的实现和优化  

作　　者：陈晓[1] 朱志祥[1] 梁小江 

机构地区：[1]西安邮电大学,陕西西安710061 [2]陕西省信息化工程研究院,陕西西安710061

出　　处：《物联网技术》2016年第4期93-95,共3页Internet of things technologies

摘　　要：海量数据的实时处理不仅要求计算框架快速高效,同时要求流处理过程中产生的中间数据的存储过程同样高效,因此,可通过提高Spark Streaming对中间结果数据的处理速度来提升流处理效率。为提高Spark Streaming处理中间结果的效率,文中选择HBase作为中间数据存储系统,并通过分析Spark Streaming的架构及HBase的存储原理,给出了Spark Streaming向HBase写入数据的方法并进行优化。通过对Spark Streaming存储过程的优化,可以一定程度上提高实时数据的流处理效率。

关 键 词：SPARK STREAMING HBASE 大数据 内存计算 流处理 

分 类 号：TP274.2[自动化与计算机技术—检测技术与自动化装置]