神经网络藏文分词方法研究  

作　　者：桑杰端珠 才让加[1,2] 

机构地区：[1]青海师范大学藏文信息处理教育部重点实验室,西宁810001 [2]青海省藏文信息处理与机器翻译重点实验室,西宁810001

出　　处：《青海科技》2018年第6期15-21,共7页Qinghai Science and Technology

基　　金：国家自然科学基金(61662061;61063033);国家重点研发计划(2017YFB1402200);青海省科技厅项目(2015-SF-520)

摘　　要：藏文分词是各类藏文自然语言处理的首要任务,藏文分词的性能直接影响下游的其他自然语言处理任务的性能。传统上多数研究者使用线性统计方法进行藏文分词的研究,但是此类方法需要大量人工设计的语言学特征。研究提出了一种藏文分词的神经网络构架,这种构架只需监督式训练的标注数据和无监督学习嵌入表示的未标注语料,而无需介入人工特征工程。通过对CNN、BiLSTM、和CRF三种网络的有效组合,使分词模型在测试数据集上的准确率、召回率和F1值分别达到了93.4%、94.2%和94.1%,超越了各类基准模型的表现。

关 键 词：藏文分词 神经网络 BiLSTM CNN CRF 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术] TP183[自动化与计算机技术—计算机科学与技术]