混合策略的维吾尔语名词词干提取系统  

Uyghur noun stemming system based on hybrid method

作　　者：早克热.卡德尔 艾山.吾买尔[1,2] 吐尔根.依布拉音 帕里旦.吐尔逊 吴小川 

机构地区：[1]新疆大学信息科学与工程学院,乌鲁木齐830046 [2]新疆多语种信息技术重点实验室,乌鲁木齐830046 [3]新疆大学软件学院,乌鲁木齐830046

出　　处：《计算机工程与应用》2013年第1期171-175,共5页Computer Engineering and Applications

基　　金：新疆维吾尔自治区青年教师科研培育基金(No.XJEDU2010S07);国家自然科学基金(No.60963018;No.61262060);国家社科基金(No.10AYY006);新疆维吾尔自治区青年基金(No.2011211B07);电子信息产业发展基金维哈柯语言文字软件开发及产业化维哈柯文辅助翻译软件项目;新疆多语种信息技术重点实验室开放课题资助

摘　　要：通过对维吾尔语名词形态结构进行研究,构造了名词有限状态自动机(FSM);针对自动机的缺陷使用最大熵模型给有限状态自动机加入了歧义词缀识别能力,根据维吾尔语的元音和谐特点,建立了基于规则和信道噪声模型的元音和谐处理方法。有机地结合以上三种方法构造出了基于规则和统计的名词词干提取方法。为了有效利用现有的资源,提高系统的性能,把基于词典的词干提取方法与规则和统计结合的名词词干提取方法相结合,从而开发出多种策略相结合的维吾尔语名词词干提取系统。该系统具有较强的鲁棒性,准确率保持95%以上。This paper researches on Uyghur noun stemming. Uyghur noun morphology has been studied, and generates Finite State Machine （FSM）. The errors of FSM is studied. And according to the features of the errors, the FSM integrates with maxi-mum entropy model to disambiguate the ambiguous suffixes. Finally, the noisy channel model is used to resolve the vowel neu- tralization. After establishing these three models, a rule and statistics based stemming method is proposed. In order to effectively make use of existing resources and improve system performance, dictionary-based approach is also integrated into the Uyghur noun stemming system. Thus, the system has a better performance and robustness, and the precision keeps over 95%.

关 键 词：维吾尔语 黏着语 有限状态自动机 噪声信道 词干提取 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]