科学计算浮点数据的高性能无损压缩  

High Performance Lossless Compression of Scientific Floating Data

作　　者：何克晶[1] 

机构地区：[1]华南理工大学计算机科学与工程学院,广州510641

出　　处：《计算机学报》2010年第6期966-976,共11页Chinese Journal of Computers

基　　金：国家自然科学基金(10805019);广东省自然科学基金(8451064101000083);华南理工大学中央高校基本科研业务费专项基金(2009ZM0040)资助~~

摘　　要：科学计算在科学界及工业界发挥着越来越重要的作用,所随之产生的科学数据也越来越多.因二级存储(如硬盘)的读写速度通常较慢,庞大的数据量除了占据存储空间之外,还影响着系统性能.文中通过系统研究浮点数据的特性,建立预测精度和压缩比之间的关系的理论体系.通过利用科学数据之间的相关性,采用多种预测器以及高效熵编码方法,提出一种科学数据高性能无损压缩方法.该方法既不需要使用者有关于原始数据的先验知识,也不需要使用者自行设计预测器.通过与其他压缩方法进行比较,结果表明文中方法的压缩比远高于其他方法,并同时具有恒定的海量压缩吞吐量.该方法已被应用于大规模颗粒动力学仿真系统的数据压缩.Scientific computing is playing more and more important role in the scientific research and in the industry,and enormous valuable scientific data are produced.Since the read/write speed of secondary storages（e.g.hard disks） is usually slow,besides occupying storage space,mass data also affect system performance.This paper studies the properties of floating-point data thoroughly,and establishes the theoretical relationship between the prediction precision and the compression ratio.By exploiting the interdependency between scientific data and making use of several predictor and high performance entropy encoding method,this paper proposes a high performance lossless compression method for scientific data.The method doesn＇t require users having priori knowledge about the data,nor is custom-designed predictor required.Comparing results with other methods,show the method has much higher compression ratio and constant high throughput.The method has been used for the compression of scientific data in large scale discrete element simulation of particle dynamics.

关 键 词：科学计算 浮点数据 无损压缩 高性能 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]