一种基于重复数据删除的备份系统  

A Remote Data Backup System with Deduplication

作　　者：陆游游[1] 敖莉[1] 舒继武[1,2] 

机构地区：[1]清华大学计算机科学与技术系,北京100084 [2]清华大学信息科学与技术国家实验室(筹),北京100084

出　　处：《计算机研究与发展》2012年第S1期206-210,共5页Journal of Computer Research and Development

基　　金：国家"八六三"高技术研究发展计划基金项目(2009AA01A403);国家自然科学基金项目(60873066);高等学校博士学科点专项科研基金项目(200800030027)

摘　　要：重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.重复数据删除技术有效地提升了备份系统的备份效率,但重复数据的匹配开销也随之增加.针对该问题,设计并实现了一种基于重复数据删除的备份系统THBS,该系统提出了高精简的数据备份方法HAD(hierachical approach of data deduplication),依次从目录、文件、块、字节粒度分层多步,由粗及细地匹配删除重复数据,同时采用bloomfilter和倒排索引技术,以减少不必要的数据匹配与磁盘访问,提高匹配查找速度.通过两组真实数据集的实验发现,THBS在备份过程中节省了63.1%～96.7%的存储空间,比Scp和Rsync分别节约了71.3%～97.6%,41.2%～66.7%的网络带宽,累计备份时间分别为Scp和Rsync的75%～86%和91%～97%.

关 键 词：备份系统 重复数据删除 层次化删冗 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]