基于垂直FP树的并行频繁项集挖掘  

A Parallel Frequent Itemsets Mining Algorithm Based on Vertical FP-tree

作　　者：徐杰[1] 李云[1] 刘博[1] 张晓斌[1] 

机构地区：[1]扬州大学信息工程学院,扬州225127

出　　处：《计算机与数字工程》2012年第10期12-15,共4页Computer & Digital Engineering

基　　金：国家自然科学基金(61070133;61003180);江苏省自然科学基金(BK2010311);江苏省教育厅自然科学基金(11KJD520011)资助

摘　　要：随着数据量的快速增长、数据存储的分散化程度不断提高,对并行分布式数据挖掘算法的需求越来越迫切。文章提出了一种基于垂直FP树的分布式频繁项集挖掘算法DVFP。DVFP采用一种称为垂直FP树(VFP)的格式来存放数据,并同时采用数据并行和任务并行的策略。文章还提出了一种新的序列化方法来对VFP树进行编码,大大减少了处理节点间的通信开销。实验验证DVFP算法在灵活性和处理时间上与现有的分布式算法相比具有较大优势。With the rapid growth of the amount of distributed data,the need for parallel and distributed data mining algorithm becomes more and more pressing.This paper presents a distributed algorithm based on vertical FP-tree called DVFP for mining frequent item.DVFP uses a data struct called vertical FP tree（VFP） to store the data,and data parallel and task parallel strategy are used at the same time.This paper also presents a new method to serialize VFP,which greatly reducing the time of communication.Experiments shows that DVFP algorithm has a larger advantage in flexibility and processing time with existing distributed algorithm.

关 键 词：频繁项集挖掘 并行计算 分布式计算 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]