基于改进隐马尔可夫模型的藏文分词研究  

作　　者：贡保加 安见才让[1] GONG Baojia;AN Jiancairang

机构地区：[1]青海民族大学智能科学与工程学院,青海西宁810007

出　　处：《信息技术与信息化》2025年第3期64-67,共4页Information Technology and Informatization

基　　金：青海民族大学2023年度校级本硕博(学生)项目“基于深度学习的脱机手写藏文识别研究”(09M2023004)。

摘　　要：藏文分词是藏语信息处理领域的基础课题,分词是将原始文本数据切分成词的一种技术。分词技术可以应用到自然语言处理领域的许多下游任务中,诸如机器翻译、语义标注、文本分类、自然语言推理等,分词是自然语言处理中极为关键的环节。文章基于隐马尔可夫模型对藏文分词进行研究,首先通过语料库训练模型,获取相应的位置信息和概率,其次在传统隐马尔可夫模型的基础上采集了音节与音节之间的特征信息,结合已有的词的位置信息进行测试。测试结果表明,最终准确率在86.05%,相较于传统的隐马尔可夫模型提高了2.3%。

关 键 词：藏文分词 隐马尔可夫模型 分词算法 未登录词 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]