基于CRF模型的组合型歧义消解研究  

Research of Disambiguating Combinational Ambiguity in Chinese Word Segmentation Based on CRF

作　　者：丁德鑫[1] 曲维光[1] 徐涛[1] 董宇[2] 

机构地区：[1]南京师范大学数学与计算机科学学院,江苏南京210097 [2]金陵科技学院龙蟠学院,江苏南京211169

出　　处：《南京师范大学学报（工程技术版）》2008年第4期73-76,94,共5页Journal of Nanjing Normal University(Engineering and Technology Edition)

基　　金：国家自然科学基金(60773173);国家"973"计划基金(2004CB318102);江苏省社科基金(06JSBYY001;07YYB003);国家社科基金(07BYY050)资助项目

摘　　要：组合型歧义切分是汉语自动分词的难点之一.为此,利用CRF(条件随机场)模型,以歧义字段的上下文的词和词性建立特征模板,进行歧义消解研究.以1998年半年《人民日报》为语料,对常用的10个组合歧义字段进行消歧,平均消歧正确率达到96.35%,取得了良好的效果.实验表明,利用该模型能有效提高消歧正确率.Combinational ambiguity is one of the difficult points in Chinese word segmentation. Based on the CRF （ Conditional Random Fields） model, this paper establishes feature template by the contextual words and part of speeches of the ambiguity word. 10 often-used ambiguity words are tested by using half of the 1998 ＂People＇s Daily＂ corpus, and the average accuracy is 96.35%. The result of the experiment reveals that using the model is more effective for disambiguation.

关 键 词：中文自动分词 组合歧义 CRF 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论] TP391.12[自动化与计算机技术—计算机科学与技术]