一种基于MapReduce的贝叶斯海量文本并行分类算法  

Algorithm of MapReduce-Based Bayesian Massive Text Parallel Classification

作　　者：陆海锋[1] 张志华[1] 陈航[2] 谢嵘[3] 

机构地区：[1]肇庆学院教育技术与计算机中心,广东肇庆526061 [2]肇庆学院软件学院,广东肇庆526061 [3]华南理工大学计算机科学与工程学院,广东广州510006

出　　处：《肇庆学院学报》2015年第2期17-22,共6页Journal of Zhaoqing University

基　　金：广东省科学技术研究基金资助项目(2009B080701001\2012B061700063)

摘　　要：面对海量数据带来的冲击,传统的单机版贝叶斯分类程序存在处理的数据集有限、内存瓶颈和耗时较长等问题.本文通过对朴素贝叶斯模型进行研究,设计并实现了一种基于Map Reduce的朴素贝叶斯文本分类算法.实验表明,该算法具有较好的扩展性和加速比,可适用于海量密集文本分类.In the impact of the massive data, problems such as limited dataset, limited memory and time-consuming appeared in stand- alone Bayesian classification architecture. By researching of Naive Bayesian model,we design and realize an algorithm based on Map Reduce Naive Bayesian model. Some experiment results indicate that this algorithm can be expanded and accelerated, suitable for massive text classification.

关 键 词：文本分类 MAPREDUCE 贝叶斯算法 海量数据处理 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]