基于Spark的舰船网络数据解析存储系统设计与实现  

Design and Implementation of Ship Network Data Analysis and Storage System Based on Spark

作　　者：张靓 肖俊东[2] 赵开敏[2] 

机构地区：[1]海军驻大连426厂军事代表室,大连116001 [2]中国舰船研究设计中心,武汉430064

出　　处：《舰船电子工程》2017年第11期92-95,147,共5页Ship Electronic Engineering

摘　　要：针对传统舰船网络数据处理能力不足的现状,论文提出了基于Spark的数据处理解决方案。在Spark中根据XML解析二进制文件、创建HBase数据库并修改其自身的数据写入机制,开发了网页客户端。论文创新性的提出了Spark对二进制文件解析的一套算法,并在具体的试验过程中得以验证。在分布式架构下从数据处理、存储、应用等角度,实现了一个自动化的、稳定的、高性能的大规模数据处理系统。Aiming at the shortage of data processing capability of traditional ship network,this paper proposes asolution of Spark-based data processing. It parses binary files according to XML in the Spark,creates the HBase database and modifies its own data writing mechanism,anddevelops the web client. This paper proposes a set of algorithms for Spark's analysis of binary files,which is validated in the concrete experiment.An automated,stable and high performance large-scale data processing system is realizedfrom the aspects of data processing,storage and application under the distributed architecture.

关 键 词：数据处理 SPARK HBASE 分布式架构 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]