云计算平台上基于过滤器的多表连接算法  

A Filter-Based Multi-Join Algorithm in Cloud Computing Environment

作　　者：王婧[1] 王腾蛟[1] 杨冬青[1] 李红燕[1] 

机构地区：[1]北京大学信息科学技术学院,北京100871

出　　处：《计算机研究与发展》2011年第S3期245-253,共9页Journal of Computer Research and Development

基　　金："核高基"重大专项(2010ZX01042-002-002-02;2010ZX01042-001-003-05);国家"十一五"科技支撑计划重点项目(2009BAH44B03);国家自然科学基金项目(60973002);教育部重大项目培育基金项目(708001);微软-北京大学合作项目

摘　　要：云计算是当前处理大规模数据分析的重要技术.然而,云计算平台上数据的广泛分布性使多表连接运算代价过高,这是一个迫切需要解决的问题.针对这一问题,首先对云计算环境中已有的多表连接算法进行分析,然后提出一种新的基于过滤器的多表连接算法.对多个表同时进行连接,避免中间结果的产生;通过预先统计连接属性的取值分布,减少不必要的元组复制与数据传输.在TPC-H数据上的实验结果显示,基于过滤器的多表连接算法与Hive及另外两种已有算法相比,显著提高了云计算环境中多表连接运算的效率.云计算是当前处理大规模数据分析的重要技术.然而,云计算平台上数据的广泛分布性使多表连接运算代价过高,这是一个迫切需要解决的问题.针对这一问题,首先对云计算环境中已有的多表连接算法进行分析,然后提出一种新的基于过滤器的多表连接算法.对多个表同时进行连接,避免中间结果的产生;通过预先统计连接属性的取值分布,减少不必要的元组复制与数据传输.在TPC-H数据上的实验结果显示,基于过滤器的多表连接算法与Hive及另外两种已有算法相比,显著提高了云计算环境中多表连接运算的效率.

关 键 词：云计算 多表连接 过滤器 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]