HDFS

作品数：573被引量：2069H指数：20
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：林文辉伍卫国魏伟刘晓洁何连跃更多>>
相关机构：北京邮电大学电子科技大学华南理工大学南京邮电大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家科技支撑计划国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=软件x
共 条 记 录，以下是1-9
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例被引量：8
《软件》2019年第11期19-23,共5页贾旖旎 周新民 曹芳 
江苏省测绘地理信息科研项目(编号：JSCHKY201820)
海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对...
关键词：时空大数据 集群计算 存储处理 数据挖掘 
基于纠删码的HDFS存储调度技术
《软件》2018年第2期173-178,共6页范涛 刘晓燕 
云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度。在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用。通过分析存储节点的负载率和性能指...
关键词：云计算 HDFS存储系统 纠删码 数据处理 
基于Hadoop的钢铁生产大数据存储平台研究被引量：3
《软件》2016年第9期47-51,共5页王卓 辛星 尹晓 常锦才 
河北省人力资源与社会保障厅留学回国人员科技活动资助项目(C2015005014);华北理工大学大学生创新创业计划项目(X2016128)
大数据平台在钢铁企业的部署对产业转型和升级有重要作用。钢铁产业大数据具有明显的实时性、动态性和不确定性等特点。为应对Hadoop分布式文件系统在处理实时工业数据流显现出的一些不足,提出了基于分布式Name Node节点的HDFS。对基于...
关键词：钢铁大数据 HDFS 分布式NameNode 技术架构 故障诊断 
一种基于Kerberos和HDFS的数据存储平台访问控制策略被引量：5
《软件》2016年第1期67-70,共4页王又立 王晶 
重点关注云存储在访问安全性和隐私安全性上的两个问题,设计面向多租户的安全数据存储机制和用户访问控制机制,并结合企业实际需求,向租户提供安全、按需、实时和可扩展的存储服务。基于Kerberos的多租户访问控制策略将提升云存储平台...
关键词：HDFS 数据存储平台 访问控制策略 
基于商业银行大数据访问规律的HDFS副本策略优化研究被引量：5
《软件》2015年第11期74-79,共6页信怀义 
数据的大规模、多样化特征给存储带来了新的挑战,商业银行系统开始使用Hadoop来支持历史数据归档和在线历史数据查询等功能。HDFS(Hadoop Distributed File System)作为Hadoop中的数据存储实现,为Map Reduce、Hive等数据处理提供数据,...
关键词：HDFS 商业银行系统 数据副本策略 
基于Hadoop处理小文件的优化策略被引量：6
《软件》2015年第2期107-111,共5页左大鹏 徐薇 
HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存...
关键词：HDFS 小文件 HAR 索引策略 索引预取 
分布式文件系统HDFS处理小文件的优化方案被引量：8
《软件》2014年第6期65-69,共5页杨彬 
Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方...
关键词：Hadoop分布式文件系统(HDFS) 小文件 扩展的HDFS(EHDFS) 
利用Zookeeper对HDFS中Namenode单点失败的改进方法被引量：5
《软件》2012年第12期192-196,共5页鲁阳 郑岩 
在大数据时代分布式处理的已经成为潮流,而Hadoop是一种应用十分广泛的分布式处理框架。但在Hadoop的使用中,Namenode的单点失败问题一直困扰着框架的使用者。本文提出了一种利用Zookeeper对Namenode进行冗余备份协同工作的处理方法,避...
关键词：分布式系统 HADOOP HDFS Namenode失败 Zookeeper 
Hadoop平台在云计算中的应用被引量：42
《软件》2011年第4期36-38,50,共4页王宏宇 
云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和计...
关键词：云计算 HADOOP HDFS MAPREDUCE 
全选清除导出
共1页<1>
检索报告 对象比较 聚类工具 使用帮助 返回顶部