基于Hadoop的高可用数据采集与存储方案  

作　　者：袁昌权 胡益群 许光 俞理超 

机构地区：[1]中船重工第七一五研究所

出　　处：《电子技术与软件工程》2019年第18期169-170,共2页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

摘　　要：本文提出了一种基于Hadoop、Zookeeper、Flume、Kafka、Hbase技术的数据采集与存储方案,能够解决Hadoop的单点故障问题,并提高数据采集和存储的效率。该方案依赖于Zookeeper集群构建高可用的Hadoop集群,通过Flume实现对模拟数据的采集,经过Kafka对数据进行缓存和分发,最终存储到Hbase中。该方案具备高稳定性、安全性和可扩展性,具有一定的应用指导意义。

关 键 词：HADOOP Zookeerper Kafka FLUME HBASE 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]