基于最大熵的维吾尔语句子边界识别模型  

Uyghur Sentence Boundary Identification Model Based on Maximum Entropy

作　　者：艾山.吾买尔[1] 吐尔根.依步拉音 

机构地区：[1]新疆大学信息科学与工程学院,乌鲁木齐830046

出　　处：《计算机工程》2010年第6期24-26,38,共4页Computer Engineering

基　　金：国家自然科学基金资助项目(60663006);新疆维吾尔自治区高技术计划基金资助项目(200712109);新疆维吾尔自治区高校科研计划基金资助重点项目(XJEDU2008I08)

摘　　要：采用最大熵模型实现维吾尔语句子边界识别,该模型的训练过程不需要提供手工收集规则、词性标注及形态分析,仅使用较容易获取的单词长度和音节等特征。为确定最佳特征模板,在特征空间上组合出不同特征模板进行测试。实验结果表明,最佳特征模板具有较强的鲁棒性,召回率可达97.72%。The Maximum Entropy（ME） model is used to detect Uyghur sentence boundary. The training procedure does not require hand-crafted rules, parl-of-speech tags, or morphological information, but uses readily available features, such as word length and syllable. To determine the best feature set, tests are performed on the different combinations of features. Experimental results show the best feature set is quite robust, and achieves recall of 97.72%.

关 键 词：维吾尔语 句子边界识别 特征选择 最大熵 

分 类 号：N945.12[自然科学总论—系统科学]