基于小字符集的藏文自动分词技术研究  

Research on technique of Tibetan Word Segmentation based on Unicode characters

作　　者：才华[1] 

机构地区：[1]西藏大学图书馆和现代教育技术中心,西藏拉萨850000

出　　处：《西藏大学学报（社会科学版）》2013年第5期43-47,共5页Journal of Tibet University

基　　金：2013年度西藏大学青年科研培育基金项目"Unicode藏文分词相关技术研究"阶段性成果;项目号:ZDPJZK201314

摘　　要：文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案。其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容。In the present paper, the technical program of Tibetan word segmentation and research on related technique were provided based on the Unicode Tibetan characters in connection with difficulty in the traditional Tibetan word segmentation. the technical program and technique include the segmentation pretreatment, Multilevel Hash Dictionary Mechanism, the judgment and restore of case particle in Tibetan and Verbatim matching algorithm etc.

关 键 词：藏文自动分词 分块预处理 多级Hash词典机制 藏文紧缩格 逐字匹配算法 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]