基于HDFS分布式云存储系统的重复数据检测与删除研究  

作　　者：王储 

机构地区：[1]河南大学软件学院,河南开封475000

出　　处：《电脑编程技巧与维护》2024年第1期92-95,共4页Computer Programming Skills & Maintenance

摘　　要：传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。

关 键 词：HDFS-SDBS 分布式云存储系统 重复数据检测 删除 

分 类 号：TP333[自动化与计算机技术—计算机系统结构] TP311.13[自动化与计算机技术—计算机科学与技术]