基于Hadoop的位图索引的空间和效率研究  

Research on Space and Efficiency of Bitmap Index Based on Hadoop

作　　者：薛胜军[1,2] 厉志 

机构地区：[1]南京信息工程大学计算机与软件学院 [2]江苏省网络监控中心,南京210044

出　　处：《科学技术与工程》2015年第25期161-168,共8页Science Technology and Engineering

基　　金：国家自然科学基金(41275116);江苏省网络监控中心开放基金(KJR1309)资助

摘　　要：位图索引是一种使用Bit位的索引,有着较高的效率,大多运用于属性基数相对较小的情况。它有着较多的重复数据,可进行压缩,压缩编码的改进是研究的一个热点。对现有COMPAX编码方式进行改进。基于Hadoop的位图索引,使用分布式处理机制,使得位图索引的执行效率得到提升,可以运用于现今的大数据环境中;以解决目前大量的信息数据的查找问题。在建立索引过程中同时使用改进后的COMPAX编码进行数据压缩,使得索引占用空间减小,进一步提高对索引处理效率。Bitmap index is an index used Bit,it has very high efficiency,and also a kind of narrower index, most used in the case of small base of attribute. It has more duplicate data can be compressed, the compression coding improvement is a hot research article on ways to improve existing COMPAX coding. Bitmap index based on Hadoop, its use of Hadoop cloud platform, using distributed processing mechanism, it could improve the efficiency of index, which could be applied in today＇s big data environment. Simultaneously it process data compression use improved COMPAX encoding on building index process, so the index occupation would be smaller, and it could be to further improve the efficiency of index.

关 键 词：位图索引 大数据 效率 数据查询 分布式处理 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]