基于查询相关的近邻语言模型  

Language Model Based on Query Related Neighborhood

作　　者：曹瑛[1] 王明文[2] 涂伟[3] 甘丽新[3] 

机构地区：[1]江西理工大学现代教育技术及信息中心,江西赣州341000 [2]江西师范大学计算机信息工程学院,江西南昌330022 [3]江西科技师范大学,江西南昌330038

出　　处：《山西大学学报（自然科学版）》2013年第4期523-529,共7页Journal of Shanxi University(Natural Science Edition)

基　　金：国家自然科学基金(61272212;61363040);江西省自然科学青年基金(20122BAB2011032);江西省高校人文社会科学青年基金(JC1312)

摘　　要：为了处理语言模型中的数据稀疏问题,平滑技术是一种可行解决方法.文章提出一个应用文档近邻信息进行平滑的模型.该模型在近邻语言模型的基础上,将初次检索的top-K文档组成一个文档关系图,在图中运用PageRank算法来计算文档的查询相关性值,由相关性值来确定近邻文档源,把查询相关的近邻文档作为平滑因子加到文档语言模型中,修正了已有的检索模型.在标准数据集上的实验表明与JM平滑语言模型和近邻语言模型相比,我们的模型在检索性能上有稳定的提升.We propose a smoothing technique to deal with the problem of in-sufficient sampling of docu- ments. By refining the neighbor set of documents on the basis of neighborhood language model, we con- struct probabilistic neighborhoods for top-K documents,and select query dependent documents as neighbor set through PageRank algorithm, then add the query-related neighbor document as the smoothing factor when estimating document model. The expanded document provides the more accurate estimation of the document model, thus improves retrieval accuracy. The experiment results on several different data sets demonstrate the effectiveness of the proposed document expansion method.

关 键 词：语言模型 近邻文档 数据平滑 查询相关 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]