一种并行层次化的重复数据删除技术  

A Parallel Hierarchical Data Deduplication Technology

作　　者：贾志凯[1,2] 王树鹏[1] 陈光达[2] 彭成[3] 

机构地区：[1]中国科学院计算技术研究所,北京100190 [2]电子装备结构设计教育部重点实验室(西安电子科技大学),西安710071 [3]中国科学院成都计算机应用研究所自动推理实验室,成都610041

出　　处：《计算机研究与发展》2011年第S1期100-104,共5页Journal of Computer Research and Development

基　　金：国家"八六三"高技术研究发展计划基金项目(2009AA01A403);国家自然科学基金项目(61003260)

摘　　要：重复数据删除技术对缩减数据占用空间、提高存储设备利用率、消减存储成本具有重要的意义,该技术逐渐发展为存储领域的一项关键技术.分析比较了几项主流的重复数据删除技术的优缺点,并提出一种并行层次化的重复数据删除算法PHD(parallel-hierarchical deduplication),通过由粗粒度到细粒度的层次化数据消冗来提高数据去重率,并在此基础上引入并行处理以充分利用多核计算机资源解决重复数据删除速率低的问题.实验结果表明,该策略在保证重复数据删除率的同时,有效地提高了重复数据删除速率.重复数据删除技术对缩减数据占用空间、提高存储设备利用率、消减存储成本具有重要的意义,该技术逐渐发展为存储领域的一项关键技术.分析比较了几项主流的重复数据删除技术的优缺点,并提出一种并行层次化的重复数据删除算法PHD(parallel-hierarchical deduplication),通过由粗粒度到细粒度的层次化数据消冗来提高数据去重率,并在此基础上引入并行处理以充分利用多核计算机资源解决重复数据删除速率低的问题.实验结果表明,该策略在保证重复数据删除率的同时,有效地提高了重复数据删除速率.

关 键 词：重复数据删除 层次化 并行 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]