海量结构化数据存储检索系统  

Massive Structured Data Oriented Storage and Retrieve System

作　　者：吴广君[1] 王树鹏[1] 陈明[2] 李超[3] 

机构地区：[1]中国科学院计算技术研究所,北京100190 [2]北京邮电大学,北京100876 [3]国家计算机网络应急技术处理协调中心,北京100029

出　　处：《计算机研究与发展》2012年第S1期1-5,共5页Journal of Computer Research and Development

基　　金：国家自然科学基金项目(61003260);国家"八六三"高技术研究发展计划基金项目(2009AA01A403;2007AA010501;2007AA01Z467;2007AA01Z474)

摘　　要：Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.

关 键 词：大数据 HADOOP 数据检索 No-SQL数据库 海量数据存储 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]