开源大数据框架在海洋信息处理中的应用  

Open source big data framework in marine information processing

作　　者：樊路遥 张晶 陈小龙[2] 刘驰[1] 

机构地区：[1]北京理工大学软件学院,北京100081 [2]海军航空工程学院电子信息工程系,烟台264001

出　　处：《科技导报》2017年第20期126-133,共8页Science & Technology Review

基　　金：国家自然科学基金项目(61772072;61501487;U1633122);国防科技项目基金(2102024);中国科协"青年人才托举工程"专项

摘　　要：随着中国海洋观测技术和数据收集手段的发展,海洋观测数据量日益庞大、数据复杂程度逐渐增多,传统的数据存储方式和处理方法无法有效地对海洋数据进行管理和分析,同时,数据的区域化和分布化成为海洋数据统一管理的一个障碍,对海洋数据挖掘造成一定困难。本文从大数据生命周期的维度,介绍了主流开源大数据框架在海洋大数据获取、存储、处理、智能分析、安全保护和治理方面的技术原理和应用。With the rapid development of China＇s sea observation technologies and data collection methods, we have an ever expanding amount of observed data with more and more complexity. Therefore, the traditional data storage and processing techniques cannot effectively manage and analyze the big ocean data. Meanwhile, the regionalization and the distribution of these data become an challenge for a unified data management, during the data mining process. From the perspective of the big data life cycle, this paper reviews the technical principles of the existing open source big data framework in areas of data acquisition, storage, processing, intelligent analysis, security protection and data governance, focusing on their applications for the big ocean data.

关 键 词：开源 大数据框架 海洋信息处理 

分 类 号：P71[天文地球—海洋科学] TP311.13[自动化与计算机技术—计算机软件与理论]