基于Hadoop的海量数据存储平台设计与开发  

Design and Development of the Mass Data Storage Platform Based on Hadoop

作　　者：崔杰[1] 李陶深[1] 兰红星 

机构地区：[1]广西大学计算机与电子信息学院,南宁530004 [2]广西工业和信息化委员会,南宁530022

出　　处：《计算机研究与发展》2012年第S1期12-18,共7页Journal of Computer Research and Development

基　　金：国家自然科学基金项目(60963022);广西自然科学基金重点项目(桂科自0832056);广西大学拔尖创新团队建设计划项目(L300249);广西研究生教育创新计划项目(GXU11T32550)

摘　　要：随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.

关 键 词：海量数据存储 海洋科学数据 HADOOP 分布式计算 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]