HADOOP分布式文件系统

作品数:97被引量:565H指数:13
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:钟将陈吉荣乐嘉锦杨彬邱荷花更多>>
相关机构:华中科技大学西安电子科技大学中国科学院华南理工大学更多>>
相关期刊:更多>>
相关基金:国家自然科学基金国家高技术研究发展计划国家科技支撑计划广东省教育部产学研结合项目更多>>
-

检索结果分析

结果分析中...
条 记 录,以下是1-10
视图:
排序:
基于分布式存储和并行计算的海量舆情数据分析方法研究被引量:1
《电子设计工程》2023年第20期82-85,90,共5页邱国婷 
陕西省教育科学“十三五”规划课题(SGH20Y1637)。
针对传统集中式数据分析方法难以适用于海量数据处理的问题,提出了一种基于分布式存储和并行计算的海量舆情数据分析方法。在构建完成的数据分析系统中,将采集的源数据存储在Hadoop分布式文件系统,并采用基于热点检测的缓存机制进行数...
关键词:分布式存储 并行计算 舆情数据 HADOOP分布式文件系统 SPARK 随机森林算法 
云计算下的远距离无线混合传输数据弱关联挖掘算法
《常州工学院学报》2023年第3期20-24,46,共6页尹蓉 
安徽省省级质量工程项目(2022gspjc067,2021jyxm1435);徽商职业学院教科研项目(yj2021szsfkc05)。
远距离无线混合传输数据规模庞大、结构复杂,为更高效地完成此类数据的处理与挖掘任务,提出了云计算下弱关联挖掘算法。以Hadoop分布式文件系统为基础,利用元数据节点、命名节点及数据节点等架构云计算平台。根据关联规则支持度、置信...
关键词:云计算 HADOOP分布式文件系统 无线混合传输 关联规则 数据挖掘 APRIORI算法 
基于云平台和大数据技术的C语言编程实验教学平台设计与实现被引量:2
《电脑编程技巧与维护》2023年第5期72-76,共5页严竞雄 
2020年度江苏省高校哲学社会科学专题研究项目(2020SJA1619);2021年度教育部高校学生司第一期供需对接就业育人项目(20220102346);2021年度教育部第二批产学合作协同育人项目(202102639007);2021年度南通市科技计划指令性项目(JC2021134);2021年度江苏省高等学校教育技术研究会高校教育信息化研究课题(2021JSETKT070);2021年度南通理工学院科研项目校企合作教学案例开发专项课题(2021XK(K)40);2019年度南通理工学院“课堂革命”教学改革研究专项项目(2019JJG010)
针对C语言程序设计实验教学现状,提出了将大数据技术融入C语言程序设计实验教学,重点介绍了基于大数据技术的C语言编程操作,包括源代码文件的创建、编译、链接、运行等整个流程,与传统实验相比,基于云平台和大数据技术的C语言程序设计...
关键词:实验教学 LINUX系统 C语言 大数据 HADOOP分布式文件系统 
分布式子空间局部链接随机向量函数链接网络
《深圳大学学报(理工版)》2022年第6期675-683,共9页于万国 袁镇濠 陈佳琪 何玉林 
深圳市基础研究计划资助面上项目(JCYJ20210324093609026)。
为解决随机向量函数链接(random vector functional link,RVFL)网络处理大规模数据分类时表现出的泛化能力差和计算复杂度高的问题,基于Spark框架设计与实现一种分布式子空间局部链接的RVFL(distributed RVFL with subspace-based local...
关键词:人工智能 随机向量函数链接网络 子空间局部链接 随机样本划分 HADOOP分布式文件系统 
基于Hadoop云平台的空间属性数据挖掘技术研究被引量:20
《南京理工大学学报》2022年第4期419-426,共8页李娟 
江苏省高等教育教改研究课题(2021JSJG641);江苏省教育科学“十四五”规划课题(B/2021/01/13);教育部产学合作协同育人项目(202101225008)。
为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用...
关键词:Hadoop云平台 空间属性 数据挖掘技术 HADOOP分布式文件系统 用户交互 分布式计算 
税收风险管理大数据分析平台的设计与实现被引量:1
《吉林大学学报(信息科学版)》2022年第1期96-102,共7页刘铭 单玉莹 苏钧驿 秦喜文 蒋扬 
吉林省发改委省级产业创新专项资金资助项目(2017C033-4)。
为实现更好的税收风险管理,提高税收风险的科学性和可应用性,完善税收风险管理基础,提出了税收数据库和税收风险管理相结合的支撑着风险排序、风险查询和风险指标管理的税收风险管理平台。该平台能解决税务部门在现有税收风险分析平台...
关键词:税收风险 风险管理 大数据 HADOOP分布式文件系统 大规模数据处理引擎 
基于Hadoop分布式文件系统的地震勘探大数据样本采集及存储优化被引量:13
《油气地质与采收率》2022年第1期121-127,共7页杨河山 张世明 曹小朋 李春雷 姜兴兴 
中国石化科技攻关项目“老油田开发大数据应用系统集成与示范应用”(P20071-4)。
随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探...
关键词:HDFS 地震勘探 大数据 样本采集 存储优化 
云环境下Hadoop分布式文件系统K-means算法并行处理改进被引量:1
《宜宾学院学报》2021年第12期48-52,共5页杨小虎 程锦 朱苍璐 
2019年度安徽省教育厅自然科学基金重点项目“基于K-means算法的学生行为分析”(KJ2019A0891);2020年度安徽省安徽三联学院校级自然科学一般项目项目“区块链技术支撑下的车载网研究与应用”(KJYB2020006)。
设计一个基于Hadoop分布式文件系统的数据挖掘平台,并基于最大最小距离的思想对K-means算法进行改进.在Hadoop分布式文件系统平台上,通过MapReduce实现并行化;以Iris数据集为例,分析了该算法的数据处理效果.结果表明:与传统算法相比,并...
关键词:大数据挖掘 并行处理 集群算法 HADOOP平台 
基于Hadoop技术的并行计算模式定向数据挖掘方法
《电子技术与软件工程》2021年第15期159-161,共3页叶苗 张国华 
2019年度泰州市科技支撑(社发)项目“大数据技术在智慧城市建设中的应用研究”(编号:SSF20190072).
本文研究以Hadoop为技术支撑,提出一种并行计算模式定向数据挖掘方法。在云计算平台中引入分布式网络存储技术,构建HDFS分布式文件系统,通过评估Hadoop集群内节点性能获取各节点性能值。以此为依据选取存储数据块的合适节点,按比例存储...
关键词:HADOOP分布式文件系统 并行计算模式 数据挖掘 HBASE分布式数据库 云计算平台 
智慧学生特征画像方法研究被引量:1
《电脑知识与技术》2021年第3期48-49,共2页罗标 崔艳荣 
网络时代的发展使"互联网+"模式应用在各个行业,商业行为的大利润驱使下对消费者用户的分析已经非常成熟,教育行业对大数据的应用就显得有些落后,教育App中的大量学生数据可以用来构建智慧学生画像给老师的教育方式提供指导性,将学生画...
关键词:学生画像 HADOOP分布式文件系统 大数据平台 智慧校园 数据仓库 
检索报告 对象比较 聚类工具 使用帮助 返回顶部