结合级联技术的藏文预训练命名实体识别模型  

Cascaded Tibetan Named Entity Recognition Model with Pre-trained Language Model

作　　者：徐泽辉 珠杰 许泽洲 汪超 严松思 刘亚姗 XU Zehui;ZHU Jie;XU Zezhou;WANG Chao;YAN Songsi;LIU Yashan(School of Information Science and Technology,Tibet University,Lhasa,Tibet 540000,China;Provincial and Ministerial Collaborative Innovation Centre for Informatization in Tibet,Lhasa,Tibet 540000,China)

机构地区：[1]西藏大学信息科学技术学院,西藏拉萨540000 [2]省部共建西藏信息化协同创新中心,西藏拉萨540000

出　　处：《中文信息学报》2023年第11期23-28,共6页Journal of Chinese Information Processing

基　　金：西藏大学提升计划项目(ZDTSJH21-07);西藏大学培育计划项目(ZDCZJH21-10);西藏大学珠峰学科建设计划项目(zf22002001);国家自然科学基金(62066042);教育部人文社会科学研究项目(21YJCZH059);2021年西藏自治区高校人文社会科学研究项目(SK2021-24)。

摘　　要：命名实体识别是藏文自然语言处理中的一项关键任务,该文提出了结合三种藏文预训练模型(Word2Vec、ELMo、ALBERT)的Casade-BiLSTM-CRF结构。级联技术(Cascade)将藏文命名实体识别划分为两个子任务(实体边界划分,实体类别判断)分阶段进行,简化了模型结构;使用藏文预训练模型,能更好地学习藏文先验知识。实验表明,Cascade-BiLSTM-CRF模型相比于BiLSTM-CRF模型训练一轮时间缩短了28.30%;而将级联技术与预训练技术相结合,在取得更好识别效果的同时还缩短了模型训练时间。Named entity recognition is a key task in Tibetan processing.This paper proposes a Casaded BiLSTM-CRF method combining three Tibetan pre-training models(Word2Vec,ELMo,ALBERT).The cascade Tibetan named entity recognition refers to treat this task by two sub-tasks,i.e.entity boundary delineation and entity class determination.Experiments show that the proposed model decreases the training time by 28.30%compared with the BiLSTM-CRF model,and combining the pre-training technique achieves better recognition results.

关 键 词：藏文命名实体识别 级联 预训练 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]