基于Parallel NetCDF的海量时空数据存储研究  

Storing Massive Spatio-temporal Data Using Parallel NetCDF

作　　者：何振芳[1] 张耀南[1,2,3] 赵国辉[1,2,3] 

机构地区：[1]中国科学院寒区旱区环境与工程研究所,兰州730000 [2]甘肃省高性能网格计算中心,兰州730000 [3]中国科学院超级计算兰州分中心,兰州730000

出　　处：《科研信息化技术与应用》2012年第1期54-61,共8页E-science Technology & Application

基　　金：中国科学院信息化专项项目(INFO-115-D01-2007);国家基金委人才基金项目(J0930003/J0109)

摘　　要：随着遥感、无线传感器网络等技术的发展,海量时空数据存储的需求越来越大,如何将长时间序列时空数据在集群上进行并行存储和处理已成为科研工作者要解决的课题。本研究深入分析了时空数据特点及NetCDF文件结构特点,利用Parallel NetCDF函数库,基于集群环境将GRID数据并行转换为NetCDF数据。以黑河干流流域月平均温度GRID数据为例验证并行转换算法的有效性,并可以扩展到其他时空数据的并行存储。With the technical development of remote sensing, wireless sensor network, ect., the needs for massive spatio-temporal data storage are increasing dramatically.It has become a big problem for the researchers that how to store and process the long time sequence data on a computing cluster. We analyzed the spatio- temporal data characteristics and NetCDF file structure features, and using parallel NetCDF function library, we implemented the conversion of GRID parallel data to NetCDF data based on the clusterenvironment. Taking monthly mean temperature GRID data of Heihe basin as an example, it was shown that the parallel conversion algorithm is effective, and can be extended to the parallel storage of other spatio-temporal data.

关 键 词：时空数据 并行I/O MPI GRID NETCDF 

分 类 号：TP333[自动化与计算机技术—计算机系统结构]