基于Hadoop的NetCDF数据存储研究  

作　　者：任晓鸽 

机构地区：[1]许昌电气职业学院信息工程系,河南许昌461000

出　　处：《信息记录材料》2022年第9期123-125,共3页Information Recording Materials

基　　金：许昌电气职业学院自然科学科研项目(Xcdq2020z07)。

摘　　要：随着新的传感器等采集技术的日益完善、多样化和互联网技术的快速发展,各科学领域采集数据成倍激增,科学数据通常以(network Common Data Form,NetCDF)的数据格式存储,一旦损坏较难恢复,且系统读写数据需要频繁的调用磁盘资源,不利于数据的共享、迁移与管理。Hadoop分布式存储方案具有明显优势,但不支持Net CDF。因此,无法使用基于HDFS(Hadoop Distributed File System)文件系统工具进行分析、处理、计算数据。深入分析HDFS数据存写、分块架构,增加了对NetCDF数据读写接口,提高了数据的可移植性和访问效率,便于数据集的共享,有利于科学计算。

关 键 词：NetCDF数据格式存储 分布式存储 Hadoop系统 HDFS文件系统 

分 类 号：TP39[自动化与计算机技术—计算机应用技术]