海量数据

作品数：3800被引量：10656H指数：35
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：李建中韩希先杨树强罗治国孙少陵更多>>
相关机构：中国科学院北京邮电大学国防科学技术大学中国科学院大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家高技术研究发展计划国家重点基础研究发展计划国家科技支撑计划更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机应用x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
基于Kubernetes的云原生海量数据存储系统设计与实现被引量：43
《计算机应用》2020年第2期547-552,共6页刘福鑫 李劲巍 王熠弘 李琳 
国家大学生创新创业训练计划项目(20181049710013)~~
为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、...
关键词：文件系统 对象存储 云计算 容器编排 云原生业务 
基于正则表达式的海量数据清洗系统被引量：16
《计算机应用》2019年第10期2942-2947,共6页常征 吕勇 
国家科技重大专项(2017ZX01013201)(2017ZX01013201)~~
针对目前主流的数据提取、变形、加载(ETL)工具和受限环境下一些应用的不足之处,结合受限应用场景下的特殊要求,提出一种基于正则表达式的海量数据清洗系统(REMCS)。REMCS首先针对超长错误数据问题、批量数据源文件融合问题、数据源文...
关键词：正则表达式 数据清洗 大数据 提取、变形、加载工具 
基于pHash分块局部探测的海量图像查重算法被引量：4
《计算机应用》2019年第9期2789-2794,共6页唐林川 邓思宇 吴彦学 温柳英 
浙江省海洋大数据挖掘与应用重点实验室开放课题项目(OBDMA201601)~~
数据库中大量重复图片的存在不仅影响学习器性能,而且耗费大量存储空间。针对海量图片去重,提出一种基于pHash分块局部探测的海量图像查重算法。首先,生成所有图片的pHash值;其次,将pHash值划分成若干等长的部分,若两张图片的某一个pHas...
关键词：重复图片检测 海量数据 感知Hash 局部探测 传递性 
基于并行分类算法的电力客户欠费预警被引量：11
《计算机应用》2016年第6期1757-1761,共5页陈羽中 郭松荣 陈宏 李婉华 郭昆 黄启成 
国家自然科学基金资助项目(61300104;61300103);福建省科技创新平台建设项目(2009J1007);福建省自然科学基金资助项目(2013J01230;2013J01232);福建省高校杰出青年科学基金资助项目(JA12016);福建省高等学校新世纪优秀人才支持计划资助项目(JA13021);福建省教育厅科技重点项目(JK2012003);福建省科技厅产学重大项目(2014H6014)~~
针对供电企业先消费后付款的经营模式可能造成用电客户因失信引发的欠费风险,需要在用电客户欠费行为发生之前实时快速地分析海量的用电用户的数据,给出潜在的欠费客户名单的问题,提出一种基于并行分类算法的电力客户欠费预警方法....
关键词：欠费预警 随机森林 并行算法 时间序列 海量数据 
基于选择性加载策略的电能质量数据处理被引量：1
《计算机应用》2016年第5期1434-1438,共5页赵霞 林天华 马素霞 齐林海 
河北省教育厅高等学校科学技术研究项目(YQ2013038);河北省自然科学基金资助项目(F2015207009);河北经贸大学科研基金资助项目(2013KYY17)~~
根据电能质量系统中监测数据海量化的趋势,提出了一种基于部分存储和选择性加载的数据处理算法,彻底解决了现有数据处理算法中重复排序和多余处理的问题。在计算日指标时,根据存储率存储部分日排序数据;在计算周(月、季、年)指标时,利...
关键词：电能质量 海量数据 多路归并 存储率 重载率 
面向海量非结构化数据的非关系型存储管理机制被引量：8
《计算机应用》2016年第3期670-674,共5页刘超 胡成玉 姚宏 梁庆中 颜雪松 
国家自然科学基金资助项目(61305087;61272470;61440060;61501412);湖北省自然科学基金重点项目(2015CFA065);中国博士后科学基金资助项目(2014M562086);中央高校基本科研业务费专项资金资助项目(CUGL130233)~~
针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采...
关键词：非结构化数据 海量数据存储 非关系型存储管理 一致性哈希 故障处理 
基于位置编码索引树的个性化推荐算法被引量：1
《计算机应用》2016年第2期419-423,427,共6页梁俊杰 甘文婷 余敦辉 
湖北省自然科学基金重点资助项目(2015CFA067);湖北省教育厅科研项目计划重点项目(D20151001);武汉市科技攻关计划项目(2013012401010851)~~
针对协同过滤算法在海量数据环境个性化推荐应用中存在的低效率问题,结合MapReduce框架特点,设计了一种应用于个性化推荐的基于位置编码的索引树(LB-Tree),创新性地将索引结构应用于个性化推荐。利用聚类资源的差异性存储策略,提升MapRe...
关键词：海量数据 MAPREDUCE 个性化推荐 索引树 位置编码 
基于粗糙集的非监督快速属性选择算法被引量：4
《计算机应用》2015年第8期2355-2359,共5页白鹤翔 王健 李德玉 陈千 
国家自然科学基金资助项目(41101440;61272095;61403238);山西省青年科技基金资助项目(2014021022-1);中国博士后科学基金资助项目(2013M530891)
针对"大数据"中常见的大规模无监督数据集中特征选择速度难以满足实际应用要求的问题,在经典粗糙集绝对约简增量式算法的基础上提出了一种快速的属性选择算法。首先,将大规模数据集看作一个随机到来的对象序列,并初始化候选约简为空集;...
关键词：海量数据 绝对约简 增量式算法 粗糙集 属性选择 
基于Storm的海量数据实时聚类被引量：30
《计算机应用》2014年第11期3078-3081,共4页王铭坤 袁少光 朱永利 王德文 
国家自然科学基金资助项目(61074078);山西省电力公司科技项目(ZGDKJ2012005)
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别...
关键词：STORM 海量数据 聚类 实时分析 
基于Hadoop的大矩阵乘法处理方法被引量：8
《计算机应用》2013年第12期3339-3344,3358,共7页孙远帅 陈垚 官新均 林琛 
国家自然科学基金资助项目(61102136;61001013);福建省自然科学基金资助项目(2011J05158;2010J01351);深圳市战略性新兴产业发展专项资金资助项目(JCYJ20120618155655087)
目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略———...
关键词：大矩阵 矩阵乘法 矩阵运算 MAPREDUCE HADOOP 并行计算 海量数据 
全选清除导出
共3页<123>
检索报告 对象比较 聚类工具 使用帮助 返回顶部