基于共享存储和Gzip的并行压缩算法研究  

Parallel compression with gzip on shared-memory systems

作　　者：宋刚[1,2] 蒋孟奇[1,2] 张云泉[1,2] 刘胜飞[1,2] 

机构地区：[1]中国科学院软件研究所并行计算实验室,北京100190 [2]中国科学院软件研究所计算机科学国家重点实验室,北京100190

出　　处：《计算机工程与设计》2009年第4期781-784,共4页Computer Engineering and Design

基　　金：国家自然科学基金项目(60303020;60533020);国家973重点基础研究发展计划基金项目(2005CB321702);国家863高技术研究发展计划基金项目(2006AA01A102;2006AA01A125);北京邮电大学网络与交换技术国家重点实验室开放基金项目(2005-05)

摘　　要：Gzip无损压缩算法。尽管gzip算法能够取得很好的压缩比,但它在分析和压缩编码的过程需要进行大量的计算。为了缩短压缩时间,提出了一种基于共享存储的并行压缩策略。采用OpenMP标准和"生产者/消费者"模型实现了gzip的并行压缩版本。在Beowulf集群中的一个SMP节点(双CPU)和曙光天阔服务器(4路双核)上的测试表明,并行化的gzip程序取得了极大的性能提升,尤其是大文件的压缩。Although the gzip algorithm can achieve very good compression, it requires a great deal of time to analyze and encode data into a smaller form. To solve this problem, a parallel compression policy based on producer/consumer model is described and implemented by the OpenMP standard. The performance of the para-llel implementation is compared to the sequential gzip program running on various shared-memory parallel architectures. Experimental data shows that an encouraging speedup is achieved by using the parallel gzip program, especially for large files.

关 键 词：共享存储 并行编程 数据压缩 OPENMP GZIP 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]