HDFS

作品数：573被引量：2069H指数：20
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：林文辉伍卫国魏伟刘晓洁何连跃更多>>
相关机构：北京邮电大学电子科技大学华南理工大学南京邮电大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家科技支撑计划国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机工程与应用x
共 条 记 录，以下是1-8
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
HDFS分级存储系统元数据管理方法的研究被引量：7
《计算机工程与应用》2023年第17期257-265,共9页刘晓宇 夏立斌 姜晓巍 孙功星 
国家自然科学基金(12275295)。
随着高能物理实验规模的不断扩大和实验复杂度的提高,研究人员正面临海量数据存储的挑战,考虑到成本、能耗、存储周期及运维管理等问题,具有存储容量大、成本低特点的磁带库成为高能物理领域海量存储系统中必不可少的选择。但HDFS现有...
关键词：HDFS分布式文件系统 分级存储系统 内存元数据管理 统一命名空间 持久化 
云环境下分布式文件系统负载均衡研究被引量：13
《计算机工程与应用》2019年第10期67-72,224,共7页吴瑶瑶 杨庚 
国家自然科学基金(No.61572263;No.61502251;No.61502243);江苏省高校自然科学研究项目(No.14KJB520031);中国博士后科学基金项目(No.2016M601859);江苏省自然科学基金面上项目(No.BK20161516)
Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载...
关键词：云环境 Hadoop分布式文件系统(HDFS) 负载均衡 动态阈值 
海量样本数据集中小文件的存取优化研究被引量：5
《计算机工程与应用》2018年第22期80-84,98,共6页马振 哈力旦.阿布都热依木 李希彤 
新疆维吾尔自治区自然科学基金(No.2016D01C048)
针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,...
关键词：Hadoop分布式文件系统(HDFS) 小文件 样本数据集 缓存预取 分布式数据库 HBASE 
一种面向HDFS的数据随机访问方法被引量：5
《计算机工程与应用》2017年第10期1-7,共7页李强 孙震宇 孙功星 
国家自然科学基金(No.11375223;No.11375221)
为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为D...
关键词：HADOOP分布式文件系统 随机访问 权限管理 
Co-Work:基于HDFS的安全云存储数据一致性保持算法被引量：4
《计算机工程与应用》2017年第1期9-15,共7页林穗 黄健 姜文超 
国家科技支撑计划课题(No.2015BAK19B03);广州市科技计划项目(No.2014XYD-007);教育部留学回国人员科研启动基金(No.14ZK0152)
针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景...
关键词：安全云存储 Hadoop分布式文件系统(HDFS) 一致性 
眼科医疗影像文件存取下的HDFS负载均衡被引量：1
《计算机工程与应用》2017年第2期253-259,264,共8页刘烁阳 周丽娟 任仲山 张树东 
国家科技支撑计划项目(No.2013BAH19F01)
在HDFS系统中,集群负载分配不均衡成为影响分布式文件存取速度的瓶颈。针对医院信息系统的负载现状,提出多属性双阈值决策的动态负载均衡算法,对分布式集群中使用HDFS默认的单属性评价、单阈值的负载均衡策略存在的缺陷加以改进。通过...
关键词：Hadoop分布式文件系统(HDFS) 分布式集群 负载均衡 眼科医疗 影像文件存取 
Hadoop中处理小文件的四种方法的性能分析被引量：8
《计算机工程与应用》2016年第9期44-49,共6页李三淼 李龙澍 
安徽省自然科学基金(No.1308085QF114);安徽省高等学校省级自然科学研究项目(No.KJ2013A015)
Hadoop的设计初衷是为了存储和分析大数据,其最擅长处理的是大数据集。但是在实际应用中,却存在着大量的小文件。一般情况下有四种处理海量小文件的方法,分别为默认输入格式Text Input Format、为处理小文件而设计的Combine File Input ...
关键词：HADOOP 小文件处理 Hadoop的分布式文件系统(HDFS) MAPREDUCE 大数据 
单机下Hadoop小文件处理性能分析被引量：9
《计算机工程与应用》2013年第3期57-60,共4页袁玉 崔超远 乌云 陈祝红 
国家自然科学基金(No.31171456)
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Had...
关键词：HADOOP Hadoop的分布式文件系统(HDFS) MAPREDUCE 小文件处理 文件输入格式 
全选清除导出
共1页<1>
检索报告 对象比较 聚类工具 使用帮助 返回顶部