一个机群环境下抗数据偏斜的JOIN算法  

JOIN algorithm for handling data skew in computer cluster

作　　者：那丽春[1] 陈庆奎[2] 徐宇清[1] 

机构地区：[1]上海理工大学现代化教育中心,上海200093 [2]上海理工大学计算机工程学院,上海200093

出　　处：《上海理工大学学报》2004年第6期580-584,共5页Journal of University of Shanghai For Science and Technology

基　　金：上海市教委发展基金资助项目(03GK11);黑龙江省教委发展基金资助项目

摘　　要：提出了一种计算机机群环境下JOIN算法,防止数据偏斜对机群执行效率的影响.给出了数据分布树的形式化定义,构造了基于数据分布树的数据均衡分布机制、抗数据偏斜的JOIN算法.分析和实验表明,该算法适合于海量数据查询并能有效地解决机群并行环境下数据偏斜所造成的查询性能低下的问题.A JOIN algorithm for handling the data skew in Computer Cluster is discussed.A set of formal definitions,such as the tree for distributing data,is given.The balanced mechanism for distributing data and the JOIN algorithm for handling the data skew are studied.The analysis and experiment results show that this algorithm effectively resolves the data skew problem in Computer Cluster.It can be fit for searching in the massive data.

关 键 词：计算机机群 数据偏斜 JOIN算法 海量数据 

分 类 号：TP316.4[自动化与计算机技术—计算机软件与理论]