基于大数据的网络话题发现技术研究初探  

Research on Network Topic Discovery Technology Based on Big Data

作　　者：许建豪[1] 王厚奎 

机构地区：[1]南宁职业技术学院,广西南宁530003

出　　处：《大众科技》2018年第8期7-8,27,共3页Popular Science & Technology

基　　金：2017年度广西高校中青年教师基础能力提升项目"基于大数据的网络话题发现技术研究"(2017KY1025)

摘　　要：基于新时代的信息化基础设施,可以对海量大数据的话题高效率地组织、管理及利用,可提高话题发现效率,快速检索定位。文章构建基于Map/Reduce分布式技术的大数据处理框架,改进现有的LDA模型对网络信息进行隐主题提取,最终通过多层分布式的方法实现网络话题发现的及时性和有效性。Based on the information infrastructure in the new era,a mass of large data topic is organized,managed and utilized,which can improve the efficiency of topic discovery and can search and locate them fast.In this paper,a large data processing framework is build based on Map/Reduce distributed technology,the existing LDA model is improved to extract the hidden theme of network information,and finally realize the timeliness and effectiveness of the network topic discovery through the multi-layer distributed method.

关 键 词：大数据 MAP/REDUCE 话题发现 

分 类 号：TP39[自动化与计算机技术—计算机应用技术]