规则与统计相结合的分词一致性检验  

Consistency check of segment using combination of rule and statistics

作　　者：刘博[1] 郑家恒[1] 张虎[1] 

机构地区：[1]山西大学计算机与信息技术学院,山西太原030006

出　　处：《计算机工程与设计》2008年第7期1814-1816,1827,共4页Computer Engineering and Design

基　　金：国家自然科学基金项目(60473139);山西省自然科学基金项目(20051034)

摘　　要：建设高质量的大规模语料库是中文信息处理领域的基础性工程,保证语料库分词结果的一致性是衡量语料库分词质量的重要标准之一。在分析了大量的语料库切分不一致现象后,提出了规则与统计相结合的分词一致性检验的新方法。与以往单一的处理方法相比,该方法更具针对性的对语料库中存在的各种不同的分词不一致现象分别进行处理,能够更加有效的解决分词不一致问题,进一步保证语料库的质量。Building high quality large-scale corpus plays an important role in Chinese information processing. One ofthe Chinese corpus segment quality＇s important criterions is to guarantee consistency of segment for corpus. After analyzing the large-scale corpus, a com- bination of rule and statistics method is proposed. These methods are compared with existed segment methods, the experimental results indicate that the proposed method is feasible and effective, and the quality of corpus is improved.

关 键 词：中文信息处理 大规模语料库 分词一致性检验 分词 语料库加工 

分 类 号：TP39[自动化与计算机技术—计算机应用技术]