去重算法

作品数:53被引量:135H指数:6
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:吴朋朋曹玉娟黄玮牛振东彭学平更多>>
相关机构:北京邮电大学复旦大学广西大学山西大学更多>>
相关期刊:《计算机仿真》《计算机技术与发展》《高性能计算技术》《中国科技纵横》更多>>
相关基金:国家自然科学基金教育部“新世纪优秀人才支持计划”山西省自然科学基金山西省回国留学人员科研经费资助项目更多>>
-

检索结果分析

结果分析中...
条 记 录,以下是1-10
视图:
排序:
混合云网络加密数据自动去重算法优化仿真
《计算机仿真》2024年第10期351-354,共4页施建 王帅 
为保证网络用户的加密数据安全性、减少云环境条件下的存储开销,提出一种混合云环境下网络加密数据去重算法优化算法。分析和评估云环境中的威胁,建立数据加密相关条件,通过多项式加强网络用户加密数据的隐私性。设立机密信息求解的多...
关键词:云环境 加密数据 去重算法 数据流行度 双线性映射 
网络内容的去重算法与语义量化研究
《现代计算机》2024年第17期1-6,12,共7页谢志豪 杨贤 
广东省哲学社会科学“十三五”规划一般项目(GD20CTS07)。
为降低网站对用户的影响,同时提升去除重复的能力,设计了一种能够应用在大型网站的去除重复的创新方案。首先,利用文本预处理技术提取网页正文内容关键词和长句特征码;其次,使用Simhash算法把特征码映射成指纹,并构建关键词指向文档的...
关键词:网页去重 语义量化 特征指纹 长句 关键词 
云存储抗边信道攻击的密文数据去重算法
《计算机仿真》2024年第9期412-415,445,共5页吴玲红 王葵 刘捷 
考虑云储存中密文数据相似性较高,导致去重难度过大的问题,提出一种基于执行机构的密文数据去重算法。构建密文动态平衡跳跃表,根据对动态平衡跳跃表的构建与描述,得到抗边信道攻击的密文数据动态叠加特点。基于密文动态平衡跳跃表构建...
关键词:抗边信道攻击 云存储 密文数据去重 动态平衡跳跃表 
云环境下改进自回归模型的网络数据去重仿真被引量:2
《计算机仿真》2024年第1期443-446,536,共5页胡艳华 张春玉 崔亚楠 倪志平 
国家自然科学基金项目(62262062);2021年度广西高校中青年教师科研基础能力提升项目(2021KY1710)。
云环境网络数据去重过程中,若不能及时对网络数据实施噪声抑制,会直接降低数据的去重效果,为提升数据去重精度,提出基于自回归模型的云环境中网络数据去重算法。建立云环境弹性空间模型,确定网络数据的空间自相关度量值完成数据去噪,基...
关键词:自回归模型 云环境 网络数据 去重算法 冗余数据预测模型 
电网OA系统非结构化文档内容自动化识别技术
《信息技术》2024年第1期104-109,114,共7页冯光璐 欧阳静 李然 倪凡 曾路 
南方电网公司一般科技项目(066700KK52180027)。
针对电网OA系统内存在大量的非结构化文档难以识别的问题,研究电网OA系统非结构化文档内容自动化识别技术。采用非直接转换方法,将非结构化数据先转换为采用XML文件承载的不完全结构化数据,利用SAX解析工具解析不完全结构化数据,采用Sim...
关键词:非结构化文档 非直接转换 自动化识别 关键词提取 去重算法 
一种基于局部敏感哈希的文本数据去重算法及其实现被引量:2
《南开大学学报(自然科学版)》2023年第6期29-35,共7页申峻宇 李东闻 钟震宇 张玉志 
国家重点研发计划(2021YFB0300104)。
预训练语言模型的发展激发对网络数据的大规模需求,而网络数据往往具有较高的重复性和相似性,需要经过去重才能更好地被用于模型训练.目前的去重算法可以去除相似和相同的文本数据,但存在运算效率较低的问题,难以用于处理大规模文本数据...
关键词:文本去重 最小哈希 局部敏感哈希 
基于关键词图表示的文本语义去重算法
《计算机应用》2023年第10期3070-3076,共7页汪锦云 向阳 
国家自然科学基金资助项目(72071145)。
网络中存在大量语义相同或者相似的冗余文本,而文本去重能够解决冗余文本浪费存储空间的问题,并能为信息抽取任务减少不必要的消耗。传统的文本去重算法依赖文字重合度信息,而没有较好地利用文本语义信息,同时也无法捕捉长文本中距离较...
关键词:文本语义去重 关键词抽取 文本匹配 图表示 图注意力网络 
机器学习算法在数据挖掘中的应用被引量:4
《长江信息通信》2023年第9期50-52,共3页何达齐 
由于传统方法在数据挖掘中应用效果不佳,不仅挖掘信息增益值比较低,而且数据挖掘耗时比较长,无法达到预期的数据挖掘效果,提出机器学习算法在数据挖掘中的应用。采用随机森林去重算法对大量的已有数据进行去重抽样,采用数据缺失插补技...
关键词:机器学习算法 数据挖掘 信息增益值 随机森林去重算法 数据缺失插补技术 
基于小波域的数字化媒体图像自适应模糊去重算法被引量:1
《吉林大学学报(信息科学版)》2023年第4期701-708,共8页刘家齐 
陕西省教育厅专项科研计划基金资助项目(21JK0386)。
针对目前图像的模糊去重方法存在处理后图像不清晰、质量不高的问题,提出了基于小波域的数字化媒体图像自适应模糊去重算法。首先通过小波域方法对数字化媒体图像完成去噪处理;其次利用逐步标注显著区域方法将数字化媒体图像分成保护与...
关键词:数字化媒体图像 小波域 去噪处理 图像分块 自适应模糊去重 
基于事件异构图表示的文本去重算法被引量:4
《湖南大学学报(自然科学版)》2023年第2期74-85,共12页艾玮 许佳 谢灿豪 孟涛 
国家自然科学基金资助项目(61802444)。
基于图结构的文本表示方法在新闻文本去重中具有更好的效果.但是,目前该表示方法还不能完整地表示文本的全部信息,并且忽略了图的语义信息,降低了新闻文本的去重效果.为此,本研究提出基于事件异构图表示的文本去重算法,该算法首先通过...
关键词:图核算法 事件异构图 新闻文本 文本表示 文本去重 
检索报告 对象比较 聚类工具 使用帮助 返回顶部