HDFS

作品数：573被引量：2069H指数：20
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：林文辉伍卫国魏伟刘晓洁何连跃更多>>
相关机构：北京邮电大学电子科技大学华南理工大学南京邮电大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家科技支撑计划国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机科学x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
共享集群基于HDFS的数据块密度调度策略被引量：2
《计算机科学》2017年第B11期510-515,共6页杜红光 雷州 陈圣波 
随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响...
关键词：HDFS 数据块密度 共享集群 调度策略 
HDFS中海量小文件合并与预取优化方法的研究被引量：13
《计算机科学》2017年第B11期516-519,541,共5页郑通 郭卫斌 范贵生 
国家自然科学基金资助项目(61672227)资助
HDFS在存储海量文件时具有明显的优势,但在存储小文件占绝大多数的海量文件时,HDFS单个NameNode的存储架构会导致其性能严重降低。为此,提出一种基于合并思想的方案,即将小文件合并为大文件,同时建立小文件到合并文件的映射关系,并将其...
关键词：HDFS 海量文件 合并 映射 LRU 预取机制 
HDFS数据副本均衡放置策略的改进被引量：4
《计算机科学》2017年第B11期397-399,431,共4页袁丽娜 
HDFS默认的数据副本放置策略仅仅只根据磁盘空间使用单个指标进行负载衡量,无法实现各节点真正的负载均衡。提出了一种基于性能的副本负载均衡放置改进策略,从磁盘空间负载能力、CPU处理能力、内存处理能力、磁盘读写处理能力、带宽等5...
关键词：HDFS 副本均衡放置策略 负载能力模型 
面向大数据分布式存储的动态负载均衡算法被引量：25
《计算机科学》2017年第5期178-183,共6页张栗粽 崔园 罗光春 陈爱国 卢国明 王晓雪 
四川省科技厅应用基础(2015JY0228);科技支撑计划(2015SZ0045;2014GZ0174);电子科大基础研究(ZYGX2015J063);海外留学回国人员科研启动费项目基金资助
随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDF...
关键词：大数据 分布式存储 元数据管理 HDFS 
存储中的副本分级存储调度策略
《计算机科学》2017年第4期85-89,共5页杨冬菊 李青 
北京市教育委员会科技计划重点项目:支持数据资源联动的云服务社区研究(KZ201310009009);北京市属高等学校创新团队建设与教师职业发展计划基金资助项目(IDHT20130502)资助
当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,...
关键词：云存储 HDFS 分级存储 副本调度 
基于HDFS的海量视频数据重分布算法被引量：2
《计算机科学》2016年第S1期480-484,共5页郭建华 杨洪斌 陈圣波 
基于视频数据的分布式计算与基于文本类型数据的分布式计算存在很大的差异。视频数据本身是非结构化的,并且对于同样大小的视频,若其内容不同会导致任务执行消耗的时间也不同。对于简单的结构化数据,HDFS默认的负载均衡器能够解决负载...
关键词：HDFS 数据重分布 视频复杂度 视频热度 
基于事件密集度的交通监控视频存储方法被引量：1
《计算机科学》2015年第5期221-224,229,共5页臧继昆 喻剑 
科技部国际合作专项(2012DFG11580)资助
利用HDFS进行大规模交通监控视频的存储和处理是一种可靠、高效、可扩展的数据存储方案。针对HDFS默认的机架感知策略可能造成存储热点这一问题,提出了一种基于事件密集度的交通监控视频放置策略。该策略利用交通视频可按事件类型进行...
关键词：交通监控视频 HDFS 交通事件 数据放置 吞吐量 
一种面向分布式文件系统的文件预取模型的设计与实现被引量：2
《计算机科学》2014年第7期30-35,共6页师明 刘轶 唐歌实 
国家“十二五”863计划信息技术领域重大项目“云计算关键技术与系统”课题:以公众汉语服务为主的搜索引擎研制(2011AA01A205)资助
如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用...
关键词：分布式文件系统 文件预取 启发式 HDFS 
Hadoop框架下的情报分析大数据调度超时预测方法被引量：7
《计算机科学》2014年第S1期409-413,共5页蒋苏蓉 蓝江桥 杨玉海 
空军装备部专项资金资助
"大数据"是信息科技领域出现的一个研究热点。军用情报数据具备典型的"大数据"特征。Hadoop是一个基于java的分布式密集数据处理和数据分析的软件框架。为了使情报大数据存取满足实时性要求,从军事应用需求出发,对Hadoop框架下的情报分...
关键词：HADOOP HDFS 调度算法 云存储 
基于HDFS开源架构与多级索引表的海量数据检索mDHT算法被引量：4
《计算机科学》2013年第2期195-199,234,共6页汤羽 王英杰 范爱华 姚远哲 
教育部留学回国人员科研启动基金资助
针对大规模能源数据系统的存储与快速检索需求,提出了一种基于HDFS/Hadoop开源平台的云存储架构及多级索引目录体系,以及此架构下的基于多级索引表的mDHT算法,并完成了算法的MapReduce编程实现。基于上述算法完成的4800万条数据的仿真...
关键词：大规模数据处理 云存储 多级索引表 查找算法 MAPREDUCE 
全选清除导出
共2页<12>
检索报告 对象比较 聚类工具 使用帮助 返回顶部