Jackrabbit封装Hadoop的设计与实现  

作　　者：张烨[1,2] 沈奇威[1,2] 

机构地区：[1]北京邮电大学网络与交换技术国家重点实验室,北京100876 [2]东信北邮信息技术有限公司,北京100191

出　　处：《四川兵工学报》2010年第11期84-87,共4页Journal of Sichuan Ordnance

基　　金：国家杰出青年科学基金资助项目(60525110);国家973计划项目(2007CB307100;2007CB307103);国家自然科学基金资助项目(60902051);中央高校基本科研业务费专项资金资助项目(BUPT2009RC0505);电子信息产业发展基金资助项目(基于3G的移动业务应用系统)

摘　　要：以目前计算机科学与技术领域广泛讨论和应用的分布式存储和内容仓库标准接口为基础,结合内容管理系统项目,研究了如何用Java内容仓库封装分布式文件系统,实现海量数据的存储。以Jackrabbit作为Java内容仓库的实现,对外暴露统一标准接口,屏蔽底层存储;存储层用Hadoop Distributed File System(HDFS)来存取数据,为了解决HDFS处理小文件能力不佳的问题,引入HBase来存取小文件,并通过测试来确定大小文件的分界点,以使系统的存储性能趋近于最佳。封装后的系统经过性能测试,改进了原存储系统存储小文件性能较低的情况。

关 键 词：内容仓库 分布式文件系统 海量数据存储 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]