基于HBase的数据完全本地化分析平台设计与实现  

Design and Implementation of HBase-based Data Fully Localization Analysis Platform

作　　者：雷晓凤[1,2] 李强[1,2] 孙震宇[1,2] 孙功星[1] 

机构地区：[1]中国科学院高能物理研究所,北京100049 [2]中国科学院大学,北京100049

出　　处：《计算机工程》2016年第6期68-74,80,共8页Computer Engineering

基　　金：国家自然科学基金资助项目(11375223;11375221);国家自然科学基金委员会-中国科学院大科学装置科学研究联合基金资助项目(11179020)

摘　　要：为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C++访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率。通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作。测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数据分析速度更快,可扩展性更好。To make full use of I/O resources and improve data analysis efficiency,according to the features of data analysis procedure and data storage,this paper develops new C＋＋ interfaces to access HBase by using Java Native Interface（JNI） and provides a data fully localization analysis platform for data accessing.Meanwhile,it re-designs and implements the related algorithms and software components of MapReduce,and enables optimal allocation and combination of Mapper tasks to improve the utilization of CPU resources.In addition,it provides new user friendly interfaces by integrating the data analysis environment,job management system and ROOT graphics module.Test results show that the new platform is faster and more scalable compared with traditional data analysis system based on file storage.

关 键 词：数据本地化 MAPREDUCE模型 HBase数据库 JAVA本地接口 Cairgorm框架 Django框架 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]