基于位置语言模型的中文信息检索系统的研究  

Positional Language Model-based Chinese IR System

作　　者：陈雅兰[1] 胡小华[1,2] 涂新辉[1] 何婷婷[1] 

机构地区：[1]华中师范大学计算机学院,武汉430079 [2]德雷塞尔大学信息科学与技术学院,费城19082

出　　处：《计算机科学》2015年第7期265-269,共5页Computer Science

基　　金：国家社会科学基金重大项目(12&2D223);湖北省自然科学基金重点项目(2011CDA034);国家语委"十二五"重点项目(ZDI125-1);国家"十二五"科技支撑计划课题(2012BAK24B01);教育部/国家外国专家局高等学校学科创新引智计划项目(B07042);华中师范大学中央高校基本科研业务费项目(CCNU13A05014;CCNU13C01001;CCNU13F010);国家自然科学基金(61300144)资助

摘　　要：在大多数现有的检索模型中常常忽略了如下事实:一个文档中匹配到的查询词项的近邻性和打分时所基于的段落检索也可以被用来促进文档的打分。受此启发,提出了基于位置语言模型的中文信息检索系统,首先通过定义位置传播数的概念,为每个位置单独地建立语言模型;然后通过引入KL-divergence检索模型,并结合位置语言模型给每个位置单独打分;最后由多参数打分策略得到文档的最终得分。实验中还重点比较了基于词表和基于二元两种中文索引方法在位置语言模型中的检索效果。在标准NTCIR5、NTCIR6测试集上的实验结果表明,该检索方法在两种索引方式上都显著改善了中文检索系统的性能,并且优于向量空间模型、BM25概率模型、统计语言模型。In most existing retrieval models,the facts are often overlooked that the proximity of matched query terms in a document and passage retrieval used to score can also be exploited to promote scoring for documents.Inspired by this,a Chinese information retrieval system based on the positional language model was proposed.Firstly,we defined the concept of propagated count to establish a positional language model for each position.Then through combing KL-divergence retrieval model and positional language model,we scored for each individual position.Finally,we scored the document by the multi-parameter strategy.The experiment also focuses on comparing the retrieval effect of the two Chinese indexing approaches named multi character-based and dictionary-based on positional language models.Experiments on standard NTCIR5,NTCIR6 test sets show that the performance of the two indexing approaches of IR system improves greatly and it performs better than the vector space model,okapi bm25 model and classical language model.

关 键 词：位置语言模型 近邻性 段落检索 传播数 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]