基于Fp-growth的分布式并行挖掘算法  

作　　者：刘喜苹[1] 黄国芳[1] 刘雅筠[1] 

机构地区：[1]长沙南方职业学院

出　　处：《数字技术与应用》2021年第10期55-57,共3页Digital Technology & Application

摘　　要：Fp-growth算法单机运算占用内存大、且耗时耗空间,挖掘大数据集时运算效率差。本文提出了一种基于Fp-growth的面向大数据集的分布式并行关联规则挖掘算法-DFp-growth算法(Distributed Fp-growth)。该算法在确保频繁项集挖掘数目不变的情况下利用数据链表将大数据集分解成多个子集,然后对分解得到的各个数据集子集用分布式并行方式进行挖掘。实验结果表明,数据集很大时,DFp-growth算法的运行速度比Fpgrowth快,而且数据集越大,并行计算节点越多,运算速度越快,分布并行运算的效率越高。但是当计算节点大到一定程度时,运算速度不增反减。

关 键 词：关联规则挖掘算法 运算速度 大数据集 并行运算 分布式并行 频繁项集挖掘 计算节点 数据链表 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]