规则与统计相结合的分词算法  

Chinese Word Segmentation Tagging Using Rule and Statistics

作　　者：陈宏彦[1] 陈俊杰[1] 

机构地区：[1]太原理工大学,太原030024

出　　处：《电脑开发与应用》2006年第8期43-45,共3页Computer Development & Applications

基　　金：山西省自然科学基金项目(20031038);教育部科学技术研究重点项目(03020)。

摘　　要：纵观信息爆炸时代的特征,信息量虽然急剧增大,但信息类型还是有限的。笔者提出,在分词之前先由用户通过选择特定领域词库来确定核心词汇,然后再有的放矢地进行单词切分的工作,分词效率从单纯使用统计算法的85.88%,提高到了91.46%。Making a comprehensive view of information startling, we find that information are growing up greatly, and but the kinds of information are limited. So the author brings forward that we should determine the key words by selecting the word database in a special range first, and then we will make word segmentation with a finite object in view, improving the efficiency of 91.46% comparing with 85.88% of single statistic algoithm.

关 键 词：规则 统计 专业词库 分词算法 

分 类 号：TP312[自动化与计算机技术—计算机软件与理论]