藏文自动分词系统中虚词识别算法研究  

RESEARCH ON FUNCTION WORD RECOGNITION ALGORITHM IN TIBETAN AUTO-SEGMENTATION SYSTEM

作　　者：拉巴顿珠 欧珠 赵栋材 

机构地区：[1]西藏大学藏文信息技术研究中心,西藏拉萨850000 [2]西藏民族大学,陕西咸阳712082

出　　处：《计算机应用与软件》2017年第9期299-301,333,共4页Computer Applications and Software

基　　金：2015年度西藏大学研究生高水平人才培养项目;2016年教育部人文社会科学研究项目(16XZJCZH001);2016年西藏自治区自然科学基金项目(2016ZR-15-5)

摘　　要：在分析现有藏文自动分词方法的基础上,针对藏文分词系统中虚词识别的难点进行深入研究。根据传统藏文文法,描述了藏文虚词在文本中不同的表现形式,用规则和统计相结合的方法,建立了较为全面的虚词知识库和规则库,并给出切分用虚词分块算法,该方法在不同领域的3 200个较典型的藏文句子进行了测试,结果表明,该方法的虚词识别率高达98%以上。By analyzing a literature review of present Tibetan Auto-Segmentation solutions,we study on the difficult points of Tibetan function words recognition. According to the traditional Tibetan grammar,we described the forms of Tibetan function words in different texts. A holistic function word dictionary and rules set had been created by a rulesstatistics-combined method,and the function words segmentation algorithm had been implemented. We tested the algorithm on a sample corpus which contains 3 200 typical Tibetan sentences from different fields. The results show that the correct recognition rate of our system reaches up to 98%.

关 键 词：藏文自动分词 藏文信息处理 虚词识别 藏文虚词 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]