基于词缀库的非监督维吾尔语词切分方法  

Unsupervised Uyghur word segmentation method based on affix corpus

作　　者：薛化建[1,2] 董兴华[1,2] 王磊[1,2] 吐尔洪.吾司曼[1] 蒋同海 

机构地区：[1]中国科学院新疆理化技术研究所,新疆乌鲁木齐830011 [2]中国科学院研究生院,北京100049

出　　处：《计算机工程与设计》2011年第9期3191-3194,共4页Computer Engineering and Design

基　　金：中国科学院"西部行动计划高新技术项目"基金项目(KGCX2-YW-507)

摘　　要：在维吾尔语中,词缀的数量有限且构词具有一定的规律性。为了提高维吾尔语词切分算法的性能,在一个词缀库的基础上,通过分析维吾尔语的基本构词规则,提出了一种改进的非监督维吾尔语词切分方法。该方法对词进行规则切分,采用MAP切分评价模型对规则切分打分,选取得分最高的规则切分作为该词的最终切分形式。在一个5000词的测试语料上进行了实验,实验结果表明,使用该方法进行维吾尔语词切分具有更高的准确率。There is limited number of affixes in Uyghur and word formation has certain regularity.To improve the accuracy of segmentation algorithm,the common structure of Uyghur words is explored.An improved unsupervised segmentation method is presented,which segments words by rules with affix corpus,scores word segmentations with MAP model,and then selects the one with highest score as the right segmentation.The experimental result of 5000-words test show that the method is better accurate in Uyghur word segmentation.

关 键 词：维吾尔语 粘着语 词切分 词缀库 最大后验概率 非监督 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]