基于FIUT的并行频繁项集增量更新算法  

Incremental updating algorithm of parallel frequent itemsets based on FIUT

作　　者：张航 张欣 张平康 李琪 Zhang Hang;Zhang Xin;Zhang Pingkang;Li Qi(College of Big Data & Information Engineering,Guizhou University,Guiyang 550025,China)

机构地区：[1]贵州大学大数据与信息工程学院

出　　处：《计算机应用研究》2019年第7期1991-1993,2019,共4页Application Research of Computers

基　　金：国家国际科技合作专项项目(2014DFA00670);贵州省研究生教育教学改革重点课题项目(黔教研合JG字[2016]15);贵州省科技厅工业攻关项目(黔科合GY字[2010]3056)

摘　　要：针对目前大数据快速增加的环境下,海量数据的频繁项集挖掘在实际中所面临的增量更新问题,在频繁项超度量树算法(frequent items ultrametric trees,FIUT)的基础上,引入MapReduce并行编程模型,提出了一种针对频繁项集增量更新的面向大数据的并行算法。该算法通过检查频繁超度量树叶子节点的支持度来确定频繁项集,同时采用准频繁项集的策略来优化并行计算过程,从而提高数据挖掘效率。实验结果显示,所提出的算法能快速完成扫描和更新数据,具有较好的可扩展性,适合于在动态增长的大数据环境中进行关联规则相关数据挖掘。With the rapid increase in the big data environment,frequent itemsets data mining faces in the actual incremental update problem. This paper proposed a parallel incremental updating algorithm based on MapReduce for frequent itemsets in frequent items ultrametric trees.The algorithm utilized the support of frequent check ultrametric tree leaf node to determine the frequent itemsets and frequent itemsets using quasi strategies to optimize the parallel computing process,so as to improve the efficiency of data mining.According to the compared experiment results,it shows that the proposed algorithm is able to scan and update data efficiently,and has good scalability.It can be used for mining association rules in the incremental big data environment.

关 键 词：大数据 频繁项集 MAPREDUCE 增量更新 频繁项超度量树 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]