重复数据删除算法在VTL系统中的应用研究  

Application and implementation in the VTL system based on data de-duplication algorithm

作　　者：孙虎威[1] 靳嘉伟[1] 张晶[1] 龚鸣[1] 

机构地区：[1]重庆大学光电技术及系统教育部重点实验室,重庆400044

出　　处：《微型机与应用》2013年第6期82-85,共4页Microcomputer & Its Applications

基　　金：重庆市科技攻关重点项目(CSTC2009AB2231);重庆市自然科学基金(CSTC2009BB2195)

摘　　要：为了使VTL(虚拟磁带库)系统能更有效地利用磁盘空间,存储更多的数据信息,介绍了一种带有重复数据删除算法的虚拟磁带库应用方法。该方法从性能和效率等多方面考虑,首先把磁带按文件级去重,再将文件切分成块,通过Bloom Filter和MD5算法双重计算,经查找和存储实现数据块级的重复删除。实验测试证明,该方案稳定地实现了数据的去重及加密功能,能有效节省虚拟磁带库的存储空间。In order to let the virtual tape library system make good use of disk space, so as to store data more efficiently, this article described an application of VTL with data de-duplication algorithm. Considering the capability and efficiency, firstly, it ensured the tape files are not repeated, then cut file into blocks, calculated by Bloom Filter and MD5 algorithm, seek and stored. Finally, achieve data de-duplication. Tests showed the method achieve stable capabilities of data de-duplication and encryption, saving storage space of VTL system efficiently.

关 键 词：虚拟磁带库 重复数据删除 BLOOM filter MD5 

分 类 号：TP309.3[自动化与计算机技术—计算机系统结构]