基于LDA模型的WEB文本分类  

Web Text Classification based on LDA Model

作　　者：孟海涛[1] 陈思 周睿 

机构地区：[1]盐城工学院信息工程学院,江苏盐城224051 [2]北京大兴区第一中学国际部,北京102600

出　　处：《盐城工学院学报（自然科学版）》2009年第4期56-59,共4页Journal of Yancheng Institute of Technology:Natural Science Edition

摘　　要：提出了基于LDA(Latent Dirichlet Allocation)主题模型的Web文本分类方法,利用MCMC方法中的Gibbs抽样获得模型参数从而获取词汇的概率分布,使隐藏于WEB文本内的不同主题与WEB文本字词建立关系。将LDA算法应用于WEB文本分类识别领域,在实验中与k均值聚类和贝叶斯网络方法进行了对比,其结果表明LDA与其他同类算法相比具有一定的优势。A kind of web text classification is put forward on the basis of LDA model.Latent Dirichlet Allocation（LDA） is an unsupervised topic learning model which extracts latent topics from text data.Parameters are estimated with Gibbs sampling of MCMC and the word probability is represented.Thus different latent topics are associated with observable words.Contrasting to SVM and Bayesian Network,the result in the experiment shows that LDA has the better performance than any other algorithm.

关 键 词：LDA 主题模型 WEB分类 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]