MAPREDUCE模型

作品数：160被引量：823H指数：13
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：黄基诞郑启龙郑斐峰房明贾瑞玉更多>>
相关机构：东华大学吉林大学电子科技大学中国科学院大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金中央高校基本科研业务费专项资金国家高技术研究发展计划江苏省自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
MapReduce模型在大规模数据并行挖掘中的应用
《智能物联技术》2024年第2期38-42,共5页唐婧 杜微 周翼 
2022年湖南省教育厅科学研究项目(22C0733);2022年常德市科技局创新指导性计划项目(2022ZD04)。
MapReduce并行编程模型通过定义良好的接口和运行支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度。系统阐述MapReduce的基本工作原理及其工作流程,以TeraSort算法为例,针对其存在的问题,提出动态数据分区...
关键词：MAPREDUCE 大规模数据 并行挖掘 TeraSort 
Reduce函数的不可交换性检测
《电脑编程技巧与维护》2024年第1期37-39,共3页朱晨璐 王熙 常博博 杨振 
MapReduce是一种流行的编程模型,通过分而治之的思想很好地解决了许多并行计算问题。然而,在其广泛应用的背后还存在着非常严峻的考验。MapReduce程序可能因为输入数据到达Reduce函数的顺序不同而产生不确定的输出结果。为了使MapReduc...
关键词：MAPREDUCE模型 Reduce函数 不可交换性 并行计算 符号执行 
基于KD树和混沌蜉蝣优化的并行谱聚类算法被引量：2
《计算机集成制造系统》2023年第12期4001-4020,共20页胡健 刘祥敏 毛伊敏 陈志刚 
国家自然科学基金资助项目(41562019);国家重点研发计划资助项目(2018YFC1504705);科技创新2030—“新一代人工智能”重大项目子课题(2020AAA0109605);江西省教育厅科技资助项目(GJJ151528,GJJ209405)。
针对大数据环境下并行谱聚类算法存在的节点负载不均衡、冗余计算、矩阵相乘时间开销大以及初始簇中心敏感等问题,提出了基于KD(k-dimension)树和混沌蜉蝣优化算法的并行谱聚类算法(PSC-MO)。首先,提出基于采样的KD-tree数据分区策略(D...
关键词：大数据 并行化 MAPREDUCE模型 谱聚类 KD树 混沌蜉蝣优化算法 
基于Hadoop的港口物流大数据应用研究被引量：3
《燕山大学学报》2023年第3期216-220,228,共6页王妍妍 王艳宁 刘佳新 任家东 
河北省社会科学基金资助项目(HB18GL074)。
物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于Hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map...
关键词：大数据 Hadoop系统 熵 MAPREDUCE模型 DBSCAN算法 
林地土壤肥力数据处理方法
《低碳世界》2023年第3期193-195,共3页韦增宾 王继春 王力 
以大桂山林场13个试点为研究对象,对其土壤养分数据进行分析。利用K-means方法对土壤肥力数据进行聚类分析,研究K-means算法的并行化实现,并在分布式计算框架(MapReduce)分布环境下,利用Hadoop平台,将K-means方法与常规的串行运算方法...
关键词：K-MEANS算法 HADOOP平台 MAPREDUCE模型 土壤肥力 
基于Apriori算法与MapReduce优化模型的并行式数据聚类方法被引量：4
《九江学院学报（自然科学版）》2022年第4期65-67,84,共4页吕立新 杨帆 
安徽省教育厅高校优秀青年人才支持计划课题(编号gxyq2018236)的研究成果之一。
针对Apriori算法产生大量无效候选集的问题,为提升MapReduce模型下Apriori算法挖掘关联规则的性能,提出崭新的并行式数据聚类方法:基于W-DPC策略设计Apriori候选项集结合方法,预先确定MapReduce模型框架下Apriori算法执行的passes量,red...
关键词：APRIORI算法 MAPREDUCE模型 并行式 聚类 
基于K-means方法的MapReduce模型社交网络隐私保护研究
《无线互联科技》2022年第20期162-165,共4页张娱嘉 张景璐 
传统隐私保护方法已逐渐无法应对多种背景下的恶意分析问题,文章研究了一种满足分布式环境下的差分隐私的算法。算法通过使用计算框架来控制主任务的迭代执行,每次分配子任务独立并行计算每个数据片中的每条记录与聚类中心的距离,标记...
关键词：K-MEANS MAPREDUCE 差分隐私 LAPLACE分布 
基于分布式并行计算的电力系统不良数据识别方法
《电工技术》2022年第20期149-151,共3页冷迪 邱子良 黄建华 秦思远 
电力系统不良数据识别方法以单一误差为标准多次比对、多次循环,难以同时处理大量数据,导致不良数据识别误差大、速率低。为改进不良数据识别方法存在的缺陷,设计了基于分布式并行计算的电力系统不良数据识别方法。采用MapReduce模型搭...
关键词：分布式并行计算 电力系统 不良数据 数据识别 MAPREDUCE模型 标准残差向量 
基于MapReduce模型的非结构化数据分布式存储方法被引量：5
《微型电脑应用》2022年第7期106-109,共4页梁雪青 杜舒明 
为了解决传统数据存储方法存在的内存消耗过大、读取效率低等多种问题,提出了基于MapReduce模型的非结构化数据分布式存储方法。设计了非结构化数据垂直分片与水平分片方案,并采用聚类算法对分片处理后的非结构化数据进行聚簇处理,在此...
关键词：人工智能 非结构化数据 分布式存储 存储消耗 
Hadoop MapReduce海量数据处理方法分析与研究被引量：1
《西安交通工程学院学术研究》2022年第1期56-59,63,共5页石碧瑶 
近年来随着大数据的发展,我们所面临的数据除了在数量上呈现爆炸式增长,其结构和类型也越来越多样化,面对这些海量数据,在完成存储之外,挖掘出其中有价值的部分才是关键。而传统的数据计算方式已经不能满足这些要求,经过研究与实践,分...
关键词：大数据 Hadoop架构 MAPREDUCE模型 分布式计算 
全选清除导出
共16页<12345678910>
检索报告 对象比较 聚类工具 使用帮助 返回顶部