基于词性约束的藏文分词策略与算法  

Tibetan Word Segmentation Based on POS

作　　者：才让卓玛[1,2,3] 才智杰 CAI Rangzhuoma;CAI Zhijie(College of Computer Science and Technology,Qinghai Normal University,Xining,Qinghai 810016,China;Qinghai Provincial Key Laboratory of Tibetan Information Proces sing and Machine Translation,Xining,Qinghai 810008,China;Key Laboratory of Tibetan Information Processing,Ministry of Education,Xining,Qinghai 810008,China)

机构地区：[1]青海师范大学计算机学院,青海西宁810016 [2]青海省藏文信息处理与机器翻译重点实验室,青海西宁810008 [3]藏文信息处理教育部重点实验室,青海西宁810008

出　　处：《中文信息学报》2020年第2期33-37,共5页Journal of Chinese Information Processing

基　　金：国家自然科学基金(61966031,61866032,61262051);国家社会科学基金(16BYY167);教育部“春晖计划”(Z2016077,Z2012093);青海省科技项目(2019-SF-129,2017-ZJ-767);青海省重点实验室项目(2013-Z-Y17,2014-Z-Y32,2015-Z-Y03);教育部藏文信息处理与机器翻译重点实验室(2013-Y-17)。

摘　　要：自动分词作为自然语言处理基础性的研究课题,一直被学术界所关注,随着藏语自然语言处理技术研究的不断深入,藏文分词也面临越来越多的挑战。该文通过分析藏文自动分词研究现状,提出基于词性约束的藏文分词策略与算法。相对于传统方法,该方法不仅能有效地预防和处理各类歧义现象,而且在藏文未登录词处理方面有较好表现。The word segmentation is a classical topic of natural language processing.This paper proposes a strategy and algorithm for Tibetan word segmentation based on the rules of part-of-speech.Compared with traditional methods,this method can not only effectively deal with the ambiguity,but also achieves better performance in processing unknown words in Tibetan.

关 键 词：分词 词性 未登录词 歧义 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]