基于PC集群的并行数据仓库架构  

Parallel Data Warehouses Architecture Based on PC Cluster

作　　者：游进国[1] 奚建清[1] 肖裕洪[1] 

机构地区：[1]华南理工大学计算机科学与工程学院,广州510641

出　　处：《计算机工程》2009年第20期73-75,共3页Computer Engineering

基　　金：广东省国际科技合作计划基金资助项目(2007A050100026);广东省科技计划基金资助项目(2006B11301001);广东省工业科技攻关计划基金资助项目(2006B80407001)

摘　　要：针对数据仓库规模不断增长而导致难以确保即席查询分析性能的问题,提出一种构建在PC集群上的并行数据仓库架构——HDW,采用Google的GFS和Bigtable技术进行分布式存储管理,采用MapReduce技术进行并行联机分析处理,为前台应用程序提供遵循XMLA规范的统一接口。在18个节点的集群上进行实验,结果表明,HDW系统扩展性好,能快速处理至少千万条元组的数据。As data warehouses grow in size,how to assuring the performance of answering Ad Hoc queries on massive data becomes a big challenge.To address the issue,this paper proposes a parallel data warehouse architecture,HDW,built upon PC cluster.It employs Google s GFS,Bigtable to process the distributive storage management and MapReduce to parallelize OLAP computation tasks.In addition,it provides the XMLA interface for front-end applications.Experimental results conducted on an 18-node cluster show that HDW scales well and can process large data sets with at least 10 million tuples.

关 键 词：数据仓库 联机分析处理 集群 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]