基于判别式分类和重排序技术的藏文分词  

Tibetan Word Segmentation Based on Discriminative Classification and Reranking

作　　者：孙萌[1,2] 华却才让 才智杰[3] 姜文斌[1] 吕雅娟[1] 刘群[1] 

机构地区：[1]中国科学院计算技术研究所中国科学院智能信息处理重点实验室,北京100190 [2]中国科学院大学,北京100049 [3]青海师范大学藏文信息研究中心,青海西宁810008

出　　处：《中文信息学报》2014年第2期61-65,90,共6页Journal of Chinese Information Processing

基　　金：863重大项目(2011AA01A207)

摘　　要：本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响。在构词粒度方面,分别考察了以基本字丁、基本字丁-音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构词粒度分词的F值最高,为91.21%;在分词结果重排序方面,提出一种基于词图的最短路径重排序策略,将判别式解码生成的切分结果压缩为加权有向图,图中节点表示音节间隔,而边所覆盖的音节作为候选切分并赋予不同权重,选择一条最短路径从而实现整句切分,最终分词结果的F值达到96.25%。This paper presents a discriminative model based approach for Tibetan word segmentation, which aims to investigate the influence of word-formation granularity and reranking strategy on the Tibetan segmentation. As for word-formation granularity, we discuss the influence of using the basic Tibetan character, the basic Tibetan charac- ter-tsheg as well as the syllable as word-formation unit on the Tibetan segmentation. The experimental results show that using syllable as word-formation unit obtains a highest F-measure score of 91.21%. And with a word lattice and shortest-path based reranking strategy, we further boost F-measure up to 96.25% on segmentation.

关 键 词：判别式 藏文分词 构词粒度 重排序 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]