-

检索结果分析

结果分析中...
检索条件:"关键词=MapReduce计算模型 "
条 记 录,以下是1-10
视图:
排序:
显示条数:
面向海量文档集的分布式索引构建方法
《网络新媒体技术》2016年第5期22-27,39,共7页王万乐 石冰 陈驰 
Kmeans聚类算法是分布式索引构建中比较有效的文档分割方法。然而,基于单节点Kmeans算法的索引构建方法在应用于海量数据时存在两个问题:初始中心点的选取对于聚类结果的影响较大,聚类结果不稳定;聚类节点容易成为系统运行的瓶颈、文档...
关键词:聚类 Kmeans算法 MapReduce计算模型 分布式索引 
云平台下图数据处理技术被引量:4
计算机应用》2015年第1期43-47,共5页刘超 唐郑望 姚宏 胡成玉 梁庆中 
国家自然科学基金资助项目(61272470;61305087);中央高校基本业务费专项资金资助项目(CUGL130233)
针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——My BSP。首先,分析了MapReduce的运行机制及不足之处;其次,阐述了My BSP框架的结构、工作流程及主要接口;最后,在...
关键词:图数据处理 计算 MapReduce计算模型 批量同步并行模型 PAGERANK算法 
面向MapReduce计算模式的中间数据通信优化被引量:3
计算机应用》2018年第4期1078-1083,共6页曹云鹏 王海峰 
山东省自然科学基金资助项目(ZR2017MF050,ZR2015FL014);山东省高等学校科学技术计划项目(J17KA049);英文没有,原文末中文也没有:山东省重大科技创新工程项目(2017CXGC0701);山东省自主创新及成果转化专项(2014ZZCX02702);山东省重点研发项目(2016GGX109001)。
针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;...
关键词:MapReduce计算模型 大数据处理 通信优化 中间数据 机器学习 
分布式k-means聚类算法的改进被引量:3
《广西大学学报(自然科学版)》2014年第5期1060-1065,共6页宋玲 戚云枫 齐东阳 
广西自然科学基金资助项目(2013GXNSFAA253003)
经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为...
关键词:K-MEANS聚类 分布式算法 MapReduce计算模型 聚类中心 
基于MapReduce的三元N-gram算法的并行化研究被引量:6
《电子技术应用》2019年第5期70-73,77,共5页龚永罡 田润琳 廉小亲 夏天 
国家重点研发计划项目(2017YFC0820100)
大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上,提出了...
关键词:中文文本查错 三元N-gram算法 MapReduce计算模型 并行化算法 HADOOP集群 语料库 
GOP-MRPGA:基于MapReduce大数据计算模型的遗传算子前置并行遗传算法被引量:2
《河南工学院学报》2020年第5期7-10,21,共5页任刚 狄文辉 郜广兰 王鲜芳 吴长茂 武文佳 赵开新 
国家重点研发计划项目(2018YFB1404404);国家自然科学基金项目(62072157,61802116);河南省科技攻关项目(192102210113,192102210248,202102210372,202102210153)。
提出了一种新的基于MapReduce大数据计算模型的PGA,该算法将遗传算子计算从Reduce阶段提前到Map阶段,从而获得了更好的并行度。通过四组实验验证了提出算法的性能,实验结果表明,提出的算法具有较高的计算效率。
关键词:MapReduce计算模型 并行遗传算法 遗传算子前置 
计算平台上实现30年气候资料整编的方法被引量:3
计算技术与自动化》2013年第3期137-140,共4页杨润芝 肖卫青 胡开喜 杨昕 王颖 马强 
国家气象信息中心存储和保存了50多年宝贵的长序列历史资料,这些历史资料在实时、准实时业务及科研中需要经常被使用并进行气象科学计算。由于历史数据量大,耗时长,如何在短时间内得到所需的计算结果提供用户使用成为本文的主要研究目...
关键词:计算 HADOOP MapReduce计算模型 气候资料整编 
大数据下电子商务系统的MapReduce架构设计被引量:2
《软件导刊》2016年第10期82-84,共3页杨正武 
面对大规模数据量的快速响应和处理,尤其是以Web网页和数据搜索为主的当下电子商务等互联网应用的瓶颈,引入MapReduce计算模型改变对大数据的处理方式,是目前较为有效的解决方法。分析研究MapReduce计算模型的特点,进一步拓展MapReduce...
关键词:大数据 电子商务系统 数据搜索 MapReduce计算模型 互联网应用 
基于N-Gram语言模型的并行自适应新闻话题追踪算法被引量:11
《山东大学学报(工学版)》2018年第6期37-43,共7页屈庆涛 刘其成 牟春晓 
山东省自然科学基金(ZR2016FM42);山东省重点研发计划(2016GGX109004);国家海洋局"十三五"海洋经济创新发展示范重点项目(YHC-ZB-P201701);国家自然科学基金(61702439)
针对传统的向量空间模型及一元语法模型表示话题的文本特征时忽略词语之间语序关系的问题,提出一种基于NGram语言模型的并行自适应新闻话题追踪算法。使用N-Gram语言模型,利用新闻报道中词语间的语序关系进行文本表示,根据贝叶斯分类算...
关键词:话题跟踪 N-GRAM语言模型 朴素贝叶斯分类 MapReduce计算模型 
基于MapReduce的视频爬虫系统研究被引量:7
《华中科技大学学报(自然科学版)》2015年第5期129-132,共4页孔涛 曹丙章 邱荷花 
国家自然科学基金资助项目(61232004)
针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢等问题,提出了基于Hadoop框架的视频爬虫系统,为视频爬取提供了高并发度的处理和爬取速度.通过MapReduce...
关键词:视频 爬虫 分布式 Hadoop框架 MapReduce计算模型 HADOOP分布式文件系统 
检索报告 对象比较 聚类工具 使用帮助 返回顶部