分布式最小生成树聚类的设计与实现  

Design and Implementation of Distributed MST Clustering

作　　者：金欣[1,2] 王晶[1,2] 沈奇威[1,2] 

机构地区：[1]北京邮电大学网络与交换技术国家重点实验室,北京100876 [2]东信北邮信息技术有限公司,北京100191

出　　处：《计算机系统应用》2011年第7期69-75,共7页Computer Systems & Applications

基　　金：国家杰出青年科学基金(60525110);国家973计划(2007CB307100;2007CB307103);国家自然科学基金(60902051);中央高校基本科研业务费专项资金(BUPT2009RC0505);电子信息产业发展基金

摘　　要：聚类是数据挖掘的主要问题之一,聚类算法能够在没有任何数据先验知识的情况下对数据进行分群,从而找到数据中的有价值的信息。近年来数据挖掘在电信领域的应用越来越广泛,但是由于数据量、数据类型、计算复杂度等原因,聚类算法应用的却不多。提出一种新的适合于分布式计算的最小生成树算法,结合适合的相似度度量,设计了一种用于解决海量数据分析的分布式聚类算法,并给出了基于mapreduce编程模型的分布式实现。Clustering is one of the most important problems in data mining.Clustering algorithm can classify data without any knowledge about it,and find out the information that valuable.Recently,data mining is more and more widely used in the telecommunication area,but because of some problems,such as the size of the data,the type of the data and the complication of the computation,clustering is not used widely.This article gives a MST algorithm that suit for distribute computing.Combining with the method to represent the similarity that suitable for this algorithm,it designs a new clustering algorithm to solve the problem of sea size data analysis.Then,it shows how the algorithm is realized based on the distribute computing model called mapreduce.

关 键 词：聚类 分布式 HADOOP MAPREDUCE 数据挖掘 最小生成树 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]