知识扩充和增量修剪的领域自适应神经机器翻译  

Knowledge Augmentation and Incremental Pruning for NMT Domain Adaptation

作　　者：陈洋 杨春明[1,2] 张晖 王意[1] 李波 CHEN Yang;YANG Chunming;ZHANG Hui;WANG Yi;LI Bo(School of Computer Sciences and Technology,Southwest University of Science and Technology,Mianyang,Sichuan 621010,China;Sichuan Big Data and Intelligent System Engineering Technology RcscarchCenter,Mianyang,Sichuan 621010,China)

机构地区：[1]西南科技大学计算机科学与技术学院,四川绵阳621010 [2]四川省大数据与智能系统工程技术研究中心,四川绵阳621010

出　　处：《中文信息学报》2023年第6期96-103,共8页Journal of Chinese Information Processing

基　　金：四川省科技厅重点研发项目(2021YFG0031);四川省省级科研院所科技成果转化项目(22YSZH0021)。

摘　　要：领域自适应神经机器翻译是解决低资源翻译中领域语料稀少的一种方法。针对目前多模型集成方法中领域知识过拟合、领域适配缺乏自适应的问题,该文提出了一种基于知识扩充和增量修剪的多领域自适应方法(KAIP)。该方法首先利用知识隐藏策略生成目标领域的辅助语料库进行辅助任务学习,实现知识扩充;然后使用模型修剪策略构建通用领域参数,并结合辅助任务学习训练目标领域参数,在无需调整模型参数的情况下适应多个不同领域。在多个语种、多个领域语料上的实验结果表明,模型在单领域和多领域下的翻译质量均有显著提升。Domain adaptation of neural machine translation is a method to address the data sparse issue in low-resource translation.This paper proposes a multi-domain adaptive method based on knowledge augmentation and incremental pruning(KAIP for short).The main idea is to apply a knowledge mask strategy to generate an auxiliary corpus of the target domain to achieve knowledge augmentation.A model pruning strategy is then used to construct generic domain parameters and train target domain parameters in conjunction with auxiliary task learning.This method is capable of adaptation to several different domains without adjusting the model parameters.Experiment results on multilingual and multidomain corpus show that the model has significantly improved the translation quality.

关 键 词：神经机器翻译 知识扩充 模型剪枝 领域自适应 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]