基于最大匹配的中文分词概率算法研究  

Research on Probabilistic Algorithm of Chinese Word Segmentation Based on the Maximum Match

作　　者：何国斌[1] 赵晶璐[1] 

机构地区：[1]西南大学计算机与信息科学学院,重庆400715

出　　处：《计算机工程》2010年第5期173-175,共3页Computer Engineering

基　　金：西南大学计信院发展基金资助项目"Web信息智能获取算法的研究"(114130-20100101)

摘　　要：结合顺序表和跳跃表的快速查询特性,提出一种改进的整词分词词典结构,主要采用哈希法和二分法进行分词匹配,并针对机械分词算法的特点,引入随机数,探讨一种基于最大匹配的分词概率算法。实验表明,该算法具有较高的分词效率和准确率,对消去歧义词也有较好的性能。Combined with the sequence table and leaping form fast inquery characteristic, this paper presents an improvement structure of segmentation dictionary. Hashing and binary search is used to segmentation match for enquiring, and in view of the characteristics of the mechanical Chinese word segmentation, by introducing the random number, a Chinese word automatic segmentation probabilistic algorithm is discussed. Experiment indicates that the arithmetic can improve the speed of Chinese segmentation and precision, also, strengthen the processing of dispelling ambiguity.

关 键 词：分词词典 跳跃表 分词算法 概率算法 

分 类 号：TP301.6[自动化与计算机技术—计算机系统结构]