中文分词词典结构的研究与改进  

Research and improvement of Chinese word segmentation dictionary

作　　者：叶继平[1] 张桂珠[1] 

机构地区：[1]江南大学物联网工程学院,江苏无锡214122

出　　处：《计算机工程与应用》2012年第23期139-142,共4页Computer Engineering and Applications

基　　金：国家自然科学基金项目(No.60665001);江南大学自主科研计划(No.JUSRP30909)

摘　　要：汉语分词词典是中文信息处理系统的重要基础,词典算法设计的优劣直接关系着分词的速度和效率。分析了三种典型的分词词典结构,提出了一种具有三级索引的新词典结构,并提出了最大正向匹配的改进型匹配算法,从而降低了匹配过程的时间复杂度。最后通过实验,比较了三种典型词典结构与新词典结构的时间效率。实验结果表明,新词典结构具有更高的词典查询速度和分词速度,可以有效满足中文处理系统的需求。Chinese word segmentation dictionary is the important base of Chinese information processing system. The arithmetic of the dictionary influences the speed and efficiency of segmentation. This paper analyzes the three typical dictionary structures, and then presents a new dictionary structure using three-level index. On the basis of this new structure, this paper also improves the positive matching method, reduces the complexity of matching pro- cess. Then a comparison is given between typical dictionary structures. The result proves that the new dictionary structure is better in many aspects such as the efficiency of retrieving and the speed of Chinese word segmentation and it can fulfill the need of Chinese processing system.

关 键 词：中文分词 正向最大匹配 词典 三级索引 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]