HDFS

作品数:573被引量:2069H指数:20
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:林文辉伍卫国魏伟刘晓洁何连跃更多>>
相关机构:北京邮电大学电子科技大学华南理工大学南京邮电大学更多>>
相关期刊:更多>>
相关基金:国家自然科学基金国家科技支撑计划国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-

检索结果分析

结果分析中...
选择条件:
  • 期刊=计算机系统应用x
条 记 录,以下是1-10
视图:
排序:
基于Hadoop的企业知识管理系统被引量:3
《计算机系统应用》2018年第8期63-69,共7页李锋 贾茂想 涂如男 
国家社科基金青年项目(13CGL069);教育部人文社科研究青年基金(13YJC880098);国家自然科学基金面上项目(7177116;71471091;71271119)~~
基于Hadoop的知识管理系统可以增强企业海量知识存储与处理的能力,实现面向管理决策的知识发现.通过研究Hadoop平台及其特点,分析了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,并设计了基于Hadoop的知识...
关键词:知识管理系统 HDFS MAPREDUCE 协同过滤 
基于Hadoop农业大数据管理平台的设计被引量:12
《计算机系统应用》2017年第5期74-79,共6页文燕 
四川省教育厅2016年四川省高校人文社科学重点研究基地科研项目(TCCSJY-2016-C16);成都农业科技职业学院科研项目(成农院[2016]1-24)
信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢?是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海...
关键词:农业大数据 HADOOP MAP/REDUCE HDFS 智慧农业 
一种新型分布式元数据管理策略
《计算机系统应用》2016年第9期159-164,共6页王丽淑 张鸿骏 芮建武 杨骁 
高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键.传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题.上述问题在高并发、低延迟的...
关键词:元数据 HDFS HASH 目录树 负载均衡 
Hadoop中处理海量小文件的方法被引量:1
《计算机系统应用》2015年第11期157-161,共5页李旭 李长云 张清清 胡淑新 周玲芳 
2013年度科技部科技支撑计划(2013BAJ10B14-5)
针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDF...
关键词:HADOOP HDFS 小文件 HDFS的I/O性能 
多层一致性哈希的HDFS副本放置策略被引量:5
《计算机系统应用》2015年第2期127-133,共7页席屏 薛峰 
分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性,但系统运行一段时间后会出现数据分布不均衡的情况.虽然使用Balancer程序可以对数据进行重分布,但对数据存储不均衡处理的后置性影响了系统的数据读取速...
关键词:一致性哈希 HDFS 副本放置 存储均衡 自适应性 
面向云存储的存储网关被引量:2
《计算机系统应用》2014年第12期42-46,共5页马军 石辉 裴文斌 王福利 
对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast...
关键词:分布式文件系统 存储网关 HDFS dfsclient 
基于纠删码的HDFS存储方案
《计算机系统应用》2014年第11期208-213,共6页卞艺杰 马瑞敏 李亚冰 吴慧 
HDFS文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累.文章提出使用纠删码编/解码文件代替HDFS的...
关键词:纠删码 副本备份容灾 
基于HDFS的小文件存储与读取优化策略被引量:14
《计算机系统应用》2014年第5期167-171,共5页张海 马建红 
本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低.本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传...
关键词:HDFS 小文件优化 文件合并 负载均衡 云存储 
Hdspace分布式机构知识库系统的小文件存储被引量:1
《计算机系统应用》2014年第2期183-188,共6页卞艺杰 陈超 李亚冰 陆小亮 
机构知识库作为一种新型的学术交流模式和开放获取活动的绿色通道已逐渐成为国内外图书情报界关注的新焦点,随着机构库的发展其数据规模也在不断扩大,传统的存储模式已经不能满足日益增长的存储需求.在对机构库内容存储特点的研究基础...
关键词:机构知识库 HDFS 海量小文件 DSPACE 
基于云存储的重复数据删除架构的研究与设计被引量:6
《计算机系统应用》2013年第1期208-211,共4页宋雨 易璐 王凤霞 
随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随...
关键词:重复数据删除技术 云存储 hash值 HDFS HBASE 
检索报告 对象比较 聚类工具 使用帮助 返回顶部