基于LDA模型和T-OPTICS算法的中文新闻话题检测  

Chinese news topic detection based on LDA and T-OPTICS

作　　者：李琮[1] 袁方[2] 刘宇[2] 李欣雨[1] 

机构地区：[1]河北大学计算机科学与技术学院,河北保定071002 [2]河北大学数学与信息科学学院,河北保定071002

出　　处：《河北大学学报（自然科学版）》2016年第1期106-112,共7页Journal of Hebei University(Natural Science Edition)

基　　金：河北省软科学研究计划项目(13455317D;12457206D-11)

摘　　要：给出了一种针对大量新闻数据的话题检测方法.首先通过LDA(latent dirichlet allocation)模型从语义层面抽取新闻数据主题,有效降低数据分析维度,更合理地体现新闻主题特征.然后改进OPTICS(ordering point to identify the cluster structure)密度聚类算法,基于新闻话题的时间延续性给出了T-OPTICS算法.该算法继承了OPTICS算法对参数不敏感的特性,降低了参数选择对聚类结果的影响.改进了OPTICS算法中文本间相似度的计算方法,体现了话题的时间延续性.基于TDT4数据集的实验表明,该方法能够快速有效地发现新闻中的话题.A method of topic detection from large-scale news dataset is proposed. First,latent dirichlet allocation（LDA） is used to reduce the dimension of data by express the news to probabilistic distribution on a set of topics. Then, T-OPTICS algorithm, one algorithm proved based on OPTICS（ordering point to i- dentify the cluster structure） algorithm, is used to cluster news to topics. Because of the OPTICS algorithm is not sensitive to parameters variation, the influence of parameters choice is reduced. The calculation meth- od of text similarity is proved by considering the effect of time parameters. The experimental results show that the algorithm can detect the topics in the TDT4 data set quickly and effectively.

关 键 词：LDA模型 T-OPTICS 聚类 降维 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]