基于Spark的航空信息服务平台  

Aviation Public Information Service Platform Based on Spark

作　　者：颜廷龙 李瑛 王凤芹 YAN Ting-Long;LI Ying;WANG Feng-Qin(Naval Aviation University,Yantai 264001,China)

机构地区：[1]海军航空大学,烟台264001

出　　处：《计算机系统应用》2021年第4期77-81,共5页Computer Systems & Applications

摘　　要：针对大数据时代下,海军航空部队存在的种种数据治理问题,设计了一种基于Spark的航空信息服务平台,平台实现了航空数据的存储,分析与挖掘等功能.平台采用4层体系架构,使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理.最后,通过仿真实验,比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣.通过海军航空信息服务平台建设,可以有效为海军航空部队实训提供数据支撑,为平台使用者提供辅助决策.In response to the data governance problems about naval aviation in the era of big data,a Spark-based aviation information service platform is designed,enabling data storage,analysis,and mining.The platform has a four-tier architecture,with the Hadoop Distributed File System(HDFS)and Hive for data storage and management.Finally,the performances of the aviation information service platform and the traditional aviation data warehouse are compared through simulation experiments regarding different data volumes.The naval aviation information service platform can serve as a strong data support for naval aviation training and assist users for decision-making.

关 键 词：航空数据 SPARK 大数据 数据管理 数据仓库 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论] E91[自动化与计算机技术—计算机科学与技术]