全局通讯网络模式的数据挖掘方法研究  

Parallel Algorithm for Mining Association Rules Based on Master-Worker Model

作　　者：徐广宇[1] 孟繁军[2] 

机构地区：[1]内蒙古财经大学计算机信息管理学院,内蒙古呼和浩特010070 [2]内蒙古师范大学计算机与信息工程学院,内蒙古呼和浩特010022

出　　处：《电脑与信息技术》2013年第4期1-5,共5页Computer and Information Technology

基　　金：内蒙古高等学校科学研究项目资助(项目编号:NJZY13052)

摘　　要：随着信息技术迅速发展,数据库的规模不断扩大,从而产生了大量的数据。如果使用传统的数据挖掘技术从庞大的数据中挖掘出有价值的规则、模式等将需要巨大的计算资源,而且会花费很长的时间。在考虑到挖掘的效率,负载平衡,运行环境,节点状态等多方面因素的基础上,文章提出了新的并行数据挖掘算法。各个并行计算单元之间采用全局通讯模式——Master-Worker模式来进行互相通信,降低了并行数据挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间。最后,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性。With the rapid development of information technology, expanding the size of the database, results in a large amount of data. If we use traditional data mining techniques from a large data to get valuable rules, models and so on. It will require enormous computing resources, and will take a long time. Taking into account the efficiency of the mining, load balancing, the running environment, node status and other factors, the paper proposes a new parallel data mining algorithm, the various parallel computing units use Master-Worker model for communication with each other. The proposed algorithm reduces the communication costs of parallel data mining, improves the efficiency of data mining, and shortens the period time of data mining. The experiment results demonstrate its effectiveness and superiority of the algorithm in large size data mining apphcation.

关 键 词：数据挖掘 并行算法 动态调度 全局通讯模式 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]