HDFS

作品数:573被引量:2069H指数:20
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:林文辉伍卫国魏伟刘晓洁何连跃更多>>
相关机构:北京邮电大学电子科技大学华南理工大学南京邮电大学更多>>
相关期刊:更多>>
相关基金:国家自然科学基金国家科技支撑计划国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-

检索结果分析

结果分析中...
选择条件:
  • 基金=国家重点基础研究发展计划x
条 记 录,以下是1-7
视图:
排序:
一种跨HDFS集群的文件资源调度机制被引量:5
《计算机学报》2017年第9期2093-2110,共18页胡博 陈桓 张良杰 牟建伟 戴广立 马于涛 
国家"九七三"重点基础研究发展规划项目基金(2016YFB1000800);国家云计算示范工程(发改办高技[2011]2448号);国家发改委大数据示范工程(发改办高技[2014]648号);广东省信息产业发展专项(粤经信电软[2015]141号);广东省领军人才计划([2012]342号);广东省领军人才计划(粤人才[2012]342号)资助;深圳市技术开发项目(FWY-CX20140310010238)~~
集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.该文针对HDF...
关键词:集群文件系统 分布式文件系统 HDFS 文件资源调度 云存储 
基于HDFS的分布式存储策略分析被引量:8
《智能计算机与应用》2016年第1期5-8,共4页王来 翟健宏 
国家自然科学基金(61202457);国家重点基础研究发展计划(973)(2011CB302605)
本文重点围绕HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析。副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取,从而确定副本存放的位置,这种方式保证了对于数据的极高的容错性的同时...
关键词:HDFS 分布式存储 副本存放策略 数据驱动 
面向海量新闻数据的HDFS节能存储策略被引量:3
《计算机工程》2015年第12期48-53,共6页钟将 杨雷 
国家"973"计划基金资助项目"高效可信的虚拟计算环境基础研究"(2011CB302600);中央高校基本科研业务费专项基金资助项目(CDJZR185502)
基于新闻数据的访问规律,提出一种改进的Hadoop分布式文件系统(HDFS),利用数据节点分区、文件迁移和节点待机等策略,使部分无任务的节点处于待机状态,实现系统高效节能存储。改进传统HDFS的写文件机制,将数据块优先写入剩余空间最大且...
关键词:文件存储 节能 节点分区 文件迁移 节点匹配 
Hadoop高可用解决方案研究被引量:1
《电信技术》2015年第11期16-19,23,共5页黄强 沈奇威 李炜 
国家973计划项目(编号:2013CB329102);国家自然科学基金资助项目(编号:61471063;61372120;61271019;61101119;61121001);长江学者和创新团队发展计划资助(编号:IRT1049);教育部科学技术研究重点(重大)项目资助(编号:MCM20130310);北京高等学校青年英才计划项目(编号:YETP0473)
通过对Hadoop Name Node高可用性的研究,探讨了5种高可用性的解决方案,并分析了各个方案的优缺点及应用场景,为Hadoop的使用厂商和开发者提供参考,对于Hadoop的推广和使用有着重要的意义。
关键词:HADOOP NAME NODE 高可用 HDFS 
HDFS下海量小文件高效存储与索引方法被引量:5
《小型微型计算机系统》2015年第10期2218-2223,共6页肖玉泽 张利军 潘巍 张小芳 李战怀 
国家"九七三"重点基础研究发展计划项目(2012CB316203)资助;国家自然基金重点项目(61033007)资助;中国航天科技集团公司航天科技创新基金项目(2014H03FK011)资助
分布式文件系统HDFS被用来存储大文件,若在其中存储海量小文件将会严重消耗Name Node内存,影响系统性能,同时小文件也不利于使用MapReduce框架进行并行处理和分析.另外,小文件附带的多维元信息也需要以一种合理的方式进行存储和索引以...
关键词:HDFS 海量小文件 多维列索引 文件信息查询 
基于Hadoop的专利翻译系统
《信息技术》2015年第10期30-33,37,共5页柴晓辉 
国家重点基础研究发展计划(973计划)资助项目(2013CB329303)
为了解决大量专利数据的存储和翻译问题,设计了一种基于Hadoop的专利翻译系统。针对数据存储该系统采用了HDFS和HBase相结合的混合式存储结构,对于翻译过程则采用Hadoop并行翻译模型-MapReduce。通过实验证明,相比于传统的翻译方法该系...
关键词:专利翻译 HADOOP MAPREDUCE HBASE HDFS 
FDSS:基于HDFS的海量音乐特征数据存储系统被引量:2
《计算机研究与发展》2011年第S3期374-378,共5页范远超 徐辰 于政 周敏奇 王晓玲 
国家自然科学基金重点项目(61033007);国家"九七三"重点基础研究发展计划基金项目(2010CB328106);上海市教委科技创新项目(10ZZ33);教育部新世纪人才支撑计划基金项目(NCET-10-0388)
随着互联网上音乐数目的迅速增长,传统的单机和小规模分布式平台已经不能满足海量音乐特征数据管理的需要;Hadoop分布式文件系统(HDFS)具有可扩展性、高可用性、容错性的优势,为海量音乐特征数据提供了有效的管理平台.提出了海量音乐特...
关键词:HDFS MAPREDUCE 音乐特征数据 格雷码 MEMCACHED 
检索报告 对象比较 聚类工具 使用帮助 返回顶部