搜索日志中中文人名的自动识别  

The Automatic Identification of Chinese Names in Query Logs

作　　者：曾镇[1] 吕学强[1] 李卓[1] 

机构地区：[1]北京信息科技大学网络文化与数字传播北京市重点实验室,北京100101

出　　处：《现代图书情报技术》2014年第12期71-77,共7页New Technology of Library and Information Service

基　　金：国家自然科学基金项目"基于本体的专利自动标引研究"(项目编号:61271304);北京市教委科技发展计划重点项目暨北京市自然科学基金B类重点项目"面向领域的互联网多模态信息精准搜索方法研究"(项目编号:KZ201311232037);北京市属高等学校创新团队建设与教师职业发展计划项目(项目编号:IDHT20130519)的研究成果之一

摘　　要：【目的】人名在搜索日志中大量存在,搜索日志中人名识别研究有助于提高搜索引擎的检索效果。【方法】提出一种搜索日志中识别中文人名的方法,首先分析日志中人名的内部组成结构以及外部上下文信息,提取7个特征,选用合适的特征模板,应用条件随机场模型初步识别人名。然后针对CRFs未能识别的人名其所在查询串字间组合共现频次较低的规律,设计贝叶斯条件概率计算公式筛选更多的人名。【结果】在搜狗日志中进行实验,开放测试结果准确率达到95%,F值达到91%。【局限】需要人工标注一定规模的训练语料。【结论】实验结果表明,该方法对于搜索日志中的人名识别是行之有效的。[Objective] Many names exist in query logs, and the name recognition can improve the performance of the search engine. [Methods] This paper presents a method that identifies the names in query logs. Basing on the internal structure characters of the name and its context information, extract seven features, choose suitable feature template, and apply the conditional random field model to preliminary identify of the person＇s name. According to the characteristics of the query string that CRFs cannot mark with the names, design Bayesian conditional probability formula to select more names. [Results] Experiments are done in Sogou Web query logs, the precision of name recognition reaches 95%, and the F-measure of the machine learning method is 91%. [Limitations] A certain amount of manual annotation training corpus is required. [Conclusions] The results validate the effectiveness of this name recognition method, and prove that this method has positive impact on name recognition.

关 键 词：搜索日志 人名识别 特征模板 条件随机场 条件概率 

分 类 号：TP391.43[自动化与计算机技术—计算机应用技术]