基于规则挖掘和Nave Bayes方法的组合型歧义字段切分  

Resolving combinational ambiguity in Chinese word segmentation based on rule mining and Nave Bayes method

作　　者：张严虎[1] 潘璐璐[1] 彭子平[1] 张靖波[1] 于中华[1] 

机构地区：[1]四川大学计算机学院,成都610064

出　　处：《计算机应用》2008年第7期1686-1688,1704,共4页journal of Computer Applications

基　　金：国家自然科学基金资助项目(60473071);高等学校博士学科点专项科研基金SRFDP资助项目(20020610007号);四川大学计算机学院青年基金资助项目

摘　　要：组合型歧义字段切分是中文自动分词的难点之一。在对现有方法进行深入分析的基础上,提出了一种新的切分算法。该算法自动从训练语料中挖掘词语搭配规则和语法规则,基于这些规则和Nave Bayes模型综合决策进行组合型歧义字段切分。充分的实验表明,相对于文献中的研究结果,该算法对组合型歧义字段切分的准确率提高了大约8%。Combinational ambiguity is one of the most difficult problems for Chinese word segmentation, After in-depth analysis of the other algorithms in literature, the paper proposed a new segmentation algorithm. The algorithm automatically mined word collocation rules and grammar rules from training corpus, and then made integrated decisions to resolve combinational ambiguity based on the mined rules and Naive Bayes method. Extensive experiments show that the proposed algorithm obtains an accuracy increase of 8% against the related works.

关 键 词：中文分词 组合型歧义 词语搭配规则 语法规则 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]