重复数据删除技术

作品数：60被引量：221H指数：7
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：廖海生王树鹏贾志凯舒继武熊晶更多>>
相关机构：华中科技大学中国科学院国防科学技术大学华南理工大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家高技术研究发展计划国家科技支撑计划国家教育部博士点基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
基于有序聚类方程的数据相似性精准识别仿真
《计算机仿真》2023年第4期402-406,共5页张媛 张慧钧 
黑龙江省自然科学基金资助项目(LH2022A023)。
网络环境中海量数据具有明显复杂度,存在着大量结构化、半结构化和非结构化的数据,数据块长度与位置易产生较高相似性。当前已有的相似性数据识别属于密集任务型方法,会占用大量的内存空间。为了进一步提高数据利用率,降低数据冗余度,...
关键词：小波技术 重复数据删除技术 特征向量相似度 点云分类网络 有序聚类方程 
重复数据删除技术在云存储中的应用被引量：2
《科技创新与应用》2022年第19期158-161,共4页宋桂平 
云存储是一种低成本、高安全的数据存储方式,但是这些存储在云端的数据有很多是重复的,不仅占用存储空间、增加存储成本,而且严重消耗网络带宽。重复数据删除技术作为一种全局性的冗余数据消除技术,压缩比高达20∶1,对于缓解数据爆炸式...
关键词：重复数据删除技术 云存储 数据存储节点 分块算法 
移动闪存的重复数据删除技术被引量：8
《西安电子科技大学学报》2020年第1期128-134,共7页贺秦禄 边根庆 邵必林 张维琪 
国家自然科学基金（61872284,61672416）;陕西省教育厅专项科研（Z20180353）;陕西省自然科学基础研究基金（Z20180156）;西安建筑科技大学人才基金（RC1707）;西安建筑科技大学青年基金（QN1726）;西安建筑科技大学自然科学专项（ZR18050)
由于闪存在智能手机和物联网等设备上的容量和可靠性都是有限的,重复数据删除可以通过删除重复I/O来解决这些限制,但必须在设备的各种资源限制下完成。提出了一种M-Dedupe重复数据删除方法,应用内容感知聚类重复数据删除关键路径上的I/...
关键词：移动存储 重复数据删除 闪存 
基于重复数据删除技术的雾存储数据去冗余方案被引量：4
《计算机应用与软件》2020年第2期18-24,98,共8页陈思佳 温蜜 陈珊 
国家自然科学基金项目(61872230,61572311)。
雾计算作为云中心在网络边缘的延伸,将不需要放在云端的数据直接进行存储和处理,从而可以快速响应底端设备的需求。为了解决现有方案中频繁的磁盘输入和输出(I/O),针对雾节点中存储数据的冗余问题,提出重复数据删除方案(DeFog)。利用红...
关键词：重复数据删除 雾计算 数据冗余 红黑树 索引表 内存 I/O优化 
重复数据删除技术在机车数据远程传输中的应用被引量：1
《机车电传动》2019年第3期107-110,共4页曲长萍 
针对车载数据远程传输中存在大量冗余数据的问题,提出了一种基于重复数据删除技术的数据远程传输方法。在基于套接字的数据远程传输过程中,首先将待传输的车载数据进行分块处理,通过MD5算法计算数据块特征值,然后将计算的特征值发送到...
关键词：远程传输 冗余数据 重复数据删除技术 MD5算法 数据分块 
基于Hadoop的重复数据删除技术研究被引量：1
《现代信息科技》2019年第3期142-144,共3页郭强 
重复数据删除技术和云计算技术正在快速发展,但是Hadoop系统也仍然存在一些影响系统归档处理效率的因素。针对这个问题,文章提出一种新的增量指纹算法和改进TTTD算法——TDOB,并将这类算法应用到Hadoop分布式系统中,分析重复数据删除技...
关键词：HADOOP 重复数据删除技术 TDOB算法 
基于重复数据删除技术的存储系统分析被引量：2
《信息系统工程》2017年第4期70-72,74,共4页朱江 冀鸣 杨志成 张嘉贤 曹雄 
数据的爆炸式增长使得数据中心面临严峻的挑战。研究发现,存储系统中高达60%的数据是冗余的,如何最大程度的利用现有资源,缩减存储系统中冗余数据成为一个亟待解决的问题。重复数据删除技术通过数据分块、数据块指纹计算和指纹比对发现...
关键词：重复数据删除 存储系统 分块策略 
Bloom Filter在重复数据删除技术中应用的研究
《计算机技术与发展》2016年第8期182-186,190,共6页陈春玲 陈琳 熊晶 余瀚 
国家自然科学基金资助项目(11501302)
为了缓解存储系统中因为重复数据索引而引起的存储设备访问过于频繁的问题,深入研究重复数据删除技术,并针对目前重复数据删除技术中Bloom Filter的运用以及存在的存储设备访问性能问题进行分析和研究,提出一种基于Bloom Filter的高效...
关键词：BLOOM FILTER 假阳性 假阴性 单位校验 访问开销 
基于Simhash算法的重复数据删除技术的研究与改进被引量：15
《南京邮电大学学报（自然科学版）》2016年第3期85-91,共7页陈春玲 陈琳 熊晶 余瀚 
国家自然科学基金(11501302)资助项目
为了在大规模文档去重中提高相似数据检测的精度,对基于Simhash算法的大规模文档去重技术进行深入研究。在原有算法的基础之上对Simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征...
关键词：相似检测 Simhash算法 TF-IDF技术 指纹计算 汉明距离 
探讨网络备份中重复数据删除技术研究
《电子技术与软件工程》2016年第9期188-188,共1页戚永丰 
随着计算机技术和网络技术的不断发展,带动了社会经济水平的高速提高,信息化技术给我们的生活、学习和工作带来了极大便利,但是在我们使用信息化技术的同时也会产生大量数据,储存和备份这些数据可能需要千万亿字节的存储空间,可以说我...
关键词：信息技术 网络备份 重复数据删除技术 
全选清除导出
共6页<123456>
检索报告 对象比较 聚类工具 使用帮助 返回顶部