一种基于HBase的数据持久性和可用性研究  

Research of Data Durable and Available Base on HBase

作　　者：唐长城[1] 杨峰[1,2] 代栋[1] 孙明明[1] 周学海[1,2] 

机构地区：[1]中国科学技术大学计算机科学与技术学院,合肥230027 [2]中国科学技术大学苏州研究院,苏州215123

出　　处：《计算机系统应用》2013年第10期175-180,共6页Computer Systems & Applications

基　　金：江苏省产学研前瞻性联合研究(BY2009128);江苏省自然科学基金(BK2012194);国家自然科学基金(61272131)

摘　　要：HBase(Hadoop DataBase)是Apache Hadoop项目下的一款非关系型数据库,它是一个基于列簇的开源数据存储系统,关于HBase的研究和应用越来越受到关注.由于HBase会在内存缓存数据后写文件系统,所以缓存的大小成为影响系统性能的一个重要因素.本文提出一种基于备份日志的持久性、可用性方案Remote Log Process,使得HBase能够在不同的缓存规模获得更好的写性能.实验证明,在保证数据的持久性和可用性前提下,RLP能够在不同的缓存大小下获得稳定的性能,并且在缓存不超过默认设置时明显提高写操作时间性能.HBase, a NoSql database under Apache Hadoop, is an open source data storage system based on column family. Researches and applications based on HBase is more and more popular. But the size of memory buffer become a key factor to influence system performance as HBase will buffer data in memory before store them on file system. In this paper, we provide a new method based on copied log named Remote Log Process to make HBase perform better on write operation with different buffer size while keeping data durable and available. Experiments result indicates RLP can get a steady performance with different buffer size under the condition to guarantee durable and available of input data, while perform much better than pristine systems if the buffer isn＇t larger then default value.

关 键 词：HBASE 持久性 可用性 预写日志 写操作效率 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]