基于数据块视图的HDF5性能优化  

HDF5 Performance Optimization Based on Data Block View

作　　者：沈卫超[1] 夏芳[1] 曹立强[1] 宋磊[1] 

机构地区：[1]北京应用物理与计算数学研究所,北京100088

出　　处：《高性能计算技术》2012年第5期8-12,共5页

基　　金：本文获国家“863”高技术研究与发展计划基金项目（2010AA012402）的资助.

摘　　要：大规模数值模拟数据对可视化分析提出了挑战，I／O是影响可视化交互性能的重要因素，基于索引的数据筛选可提高可视化交互性能。大规模并行数值模拟程序使用HDF5层次化表示和存储被区域剖分的物理量数据，使HDF5的数据集对象被用于存储各区域上的物理量数据块。由于数据块粒度太小，不宜创建数据索引。本文通过在HDF5中增加新的数据块视图对象，来支持数据索引在HDF5中的实现。测试表明，增加数据块视图可加速数据读取性能，且基于数据块视图索引可显著提升数据筛选性能。Large scale simulation data challenges the ability of visualization, and I/O is an important factor for visualization interactive performance. Index-based data selection can improve the interactive performance of visualization. The decomposed variable data of large scale parallel simulations is stored in HDF5 hierarchically, and the data block of decomposed variable is stored by dataset of HDF5. The dataset is too small to create index. A new object, Data Block View, is added to support data index implementation in HDF5. The test indicates that the data block view can improve read performance, and index based on data block view can improve data selection performance remarkably.

关 键 词：数值模拟 大规模数据场 HDF5 科学数据管理 

分 类 号：TP315[自动化与计算机技术—计算机软件与理论]