融合多粒度特征的低资源语言词性标注和依存分析联合模型  

A Joint Modelof POS Tagging and Dependency Parsing with Multi-Granularity Features for Low-resource Language

作　　者：陆杉 毛存礼[1,2] 余正涛[1,2] 高盛祥[1,2] 黄于欣 王振晗 LU Shan;MAO Cunli;YU Zhengtao;GAO Shengxiang;HUANG Yuxin;WANG Zhenhan(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming,Yunnan 650500,China;Yunnan Key Laboratory of Artificial Intelligence,Kunming University of Science and Technology,Kunming,Yunnan 650500,China)

机构地区：[1]昆明理工大学信息工程与自动化学院,云南昆明650500 [2]昆明理工大学云南省人工智能重点实验室,云南昆明650500

出　　处：《中文信息学报》2023年第7期13-22,共10页Journal of Chinese Information Processing

基　　金：国家自然科学基金(62166023,U21B2027,61866019);云南省重大科技专项计划项目(202103AA080015,202302AD080003,202002AD080001)。

摘　　要：研究低资源语言的词性标注和依存分析对推动低资源自然语言处理任务有着重要的作用。针对低资源语言词嵌入表示,已有工作并没有充分利用字符、子词层面信息编码,导致模型无法利用不同粒度的特征。对此,该文提出融合多粒度特征的词嵌入表示,利用不同的语言模型分别获得字符、子词以及词语层面的语义信息,将三种粒度的词嵌入进行拼接,达到丰富语义信息的目的,缓解由于标注数据稀缺导致的依存分析模型性能不佳的问题。进一步将词性标注和依存分析模型进行联合训练,使模型之间能相互共享知识,降低词性标注错误在依存分析任务上的线性传递。以泰语、越南语为研究对象,在宾州树库数据集上的试验表明,该文方法相比于基线模型的UAS、LAS、POS均有明显提升。The part-of-speech tagging and dependency parsing of low-resource languages plays an important role in promoting low-resource language processing.For low-resource languages,we propose a word embedding representation that integrates multi-granularity features,and apply different language models at the character,sub-word and word level.Word embeddings in three granularities are then combined to enrich semantic information.The part-of-speech tagging and dependency parsing model are further jointly trained,sharing knowledge with each other to alleviate the pipeline error accumulation.Taking Thai and Vietnamese from the Penn Treebank data set,the proposed method significantly out-performs the baseline model according to UAS,LAS,and POS index.

关 键 词：低资源语言 词性标注 依存分析 多粒度特征 联合模型 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]