重复数据删除技术  

Data Deduplication Techniques

作　　者：敖莉[1] 舒继武[1,2] 李明强[1] 

机构地区：[1]清华大学计算机科学与技术系,北京100084 [2]清华大学信息科学与技术国家实验室(筹),北京100084

出　　处：《软件学报》2010年第5期916-929,共14页Journal of Software

基　　金：国家自然科学基金No.60873066;国家高技术研究发展计划(863)No.2009AA01A403;高等学校博士学科点专项科研基金No.200800030027~~

摘　　要：重复数据删除技术主要分为两类:相同数据的检测技术和相似数据的检测与编码技术,系统地总结了这两类技术,并分析了其优缺点.此外,由于重复数据删除技术会影响存储系统的可靠性和性能,又总结了针对这两方面的问题提出的各种技术.通过对重复数据删除技术当前研究现状的分析,得出如下结论:a)重复数据删除中的数据特性挖掘问题还未得到完全解决,如何利用数据特征信息有效地消除重复数据还需要更深入的研究;b)从存储系统设计的角度,如何引入恰当的机制打破重复数据删除技术的可靠性局限并减少重复数据删除技术带来的额外系统开销也是一个需要深入研究的方面.Data deduplication technologies can be divided into two categories： a） identical data detection techniques, and b） similar data detection and encoding techniques. This paper presents a systematic survey on these two categories of data deduplication technologies and analyzes their advantages and disadvantages. Besides, since data deduplication technologies can affect the reliability and performance of storage systems, this paper also surveys various kinds of technologies proposed to cope with these two aspects of problems. Based on the analysis of the current state of research on data deduplication technologies, this paper makes several conclusions as follows： a） How to mine data characteristic information in data deduplication has not been completely solved, and how to use data characteristic information to effectively eliminate duplicate data also needs further study; b） From the perspective of storage system design, it still needs further study how to introduce proper mechanisms to overcome the reliability limitations of data deduplication techniques and reduce the additional system overheads caused by data deduplication techniques.

关 键 词：网络存储系统 重复数据 数据删除 可靠性 性能 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]