面向数值模拟数据的HDF5性能优化  

HDF5 Performance Optimization for Numerical Simulation Data

作　　者：沈卫超[1] 曹立强[1] 夏芳[1] 宋磊[1] 

机构地区：[1]北京应用物理与计算数学研究所高性能计算中心,北京100094

出　　处：《计算机研究与发展》2012年第S1期314-318,共5页Journal of Computer Research and Development

基　　金：中国工程物理研究院科学技术发展基金项目(2010B0403057)

摘　　要：大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.

关 键 词：数值模拟 大规模数据场 HDF5 科学数据管理 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]