基于主题语言模型的中文信息检索系统研究  

A Topic Language Model-based Chinese IR System

作　　者：张俊林[1] 孙乐[1] 孙玉芳[1] 

机构地区：[1]中国科学院软件研究所系统软件与中文信息中心,北京100080

出　　处：《中文信息学报》2005年第3期14-20,共7页Journal of Chinese Information Processing

基　　金：国家自然科学基金资助项目 (6 0 2 0 30 0 7) ;国家 86 3计划资助项目 (2 0 0 1AA114 0 4 0 )

摘　　要：准确的文档语言模型估计对于改善语言模型检索系统的性能是非常重要的。在本文中我们提出了基于主题语言模型的信息检索系统,首先设计了“改进的两阶段K Means聚类算法”来对文档集合进行聚类,通过引入AspectModel结合聚类结果可以得到基于主题的语言模型。这个新的语言模型较深入地刻画了词汇在不同主题下的分布规律以及文档所蕴含不同主题的分布规律。将主题语言模型和文档本身的语言模型通过线性插值可以更准确地估计文档语言模型。实验结果表明我们提出的这个方法显著改善了检索系统的性能,与Jelinek Mercer模型方法相比较,主题语言模型检索系统的平均精度提高大约16 17% ,召回率提高大约9 6 4%。Exact estimation of the document language model is important to the performance of the language model based IR system. In this paper we proposed a topic-based approach to language modeling for ad-hoc Information Retrieval. An improved two-stage k-means clustering method is designed to deal with the document collection and the clustered results are regarded as the topic information contained in the collection. Through combing the aspect model and text clustering technology, we can derive a more accurate document language model for ad-hoc Information Retrieval. Experiments have shown that the performance of IR system has been improved greatly. Compared with Jelinek-Mercer language model IR system, Precision of the trigger language model based IR system increased almost 16.17% and recall of the system increased 9.64%.

关 键 词：人工智能 自然语言处理 主题语言模型 信息检索 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]