LDA算法在Mahout下的高效实现(英文)  

Efficient implementation for LDA in Mahout

作　　者：许伯熹[1] 胡宁 陈文斌[1] 高卫国[1] 程晋[1] 

机构地区：[1]复旦大学数学科学学院,上海200433 [2]上海聚胜万合广告有限公司,上海200070

出　　处：《华东师范大学学报（自然科学版）》2013年第3期118-130,共13页Journal of East China Normal University(Natural Science)

摘　　要：通过对运用Gibbs采样的Latent Dirichlet Allocation(LDA)算法和MapReduce计算框架的细致研究,实现了LDA算法在Mahout下的分布式并行计算.详细地考察了该分布式并行计算程序的计算性能,并深入地探讨了一些影响计算性能的关键问题.In a careful study of Latent Dirichlet Allocation（LDA） using Gibbs sampling and the MapReduce framework,an efficient implementation for LDA in Mahout was achieved.The experiments showed the high performance of this distributed parallel LDA program,and several issues about enhancing performance were discussed.

关 键 词：LATENT DIRICHLET ALLOCATION GIBBS采样 Mahout 分布式并行计算 MapReduce计算框架 

分 类 号：O211[理学—概率论与数理统计]