预训练语言模型的应用综述  

Survey of Applications of Pretrained Language Models

作　　者：孙凯丽 罗旭东 罗有容[3] SUN Kaili;LUO Xudong;Michael YLUO(Guangxi Key Lab of Multi-source Information Mining&Security,Guilin,Guangxi 541004,China;School of Computer Science and Engineering&School of Software Guangxi Normal University,Guilin,Guangxi 541004,China;Emmanuel College,Cambridge University,Combridge,CB23AP,UK)

机构地区：[1]广西多源信息挖掘与安全重点实验室,广西桂林541004 [2]广西师范大学计算机科学与工程学院/软件学院,广西桂林541004 [3]剑桥大学伊曼纽尔学院,英格兰剑桥CB23AP

出　　处：《计算机科学》2023年第1期176-184,共9页Computer Science

基　　金：广西多源信息挖掘与安全重点实验室系统性研究课题(22-A-01-02)。

摘　　要：近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。In recent years,pretrained language models have developed rapidly,pushing natural language processing into a whole new stage of development.To help researchers understand where and how the powerful pretrained language models can be applied in natural language processing,this paper surveys the state-of-the-art of its application.Specifically,we first briefly review typical pretrained language models,including monolingual,multilingual and Chinese pretrained models.Then,we discuss these pretrained language models’contributions to five different natural language processing tasks:information extraction,sentiment analysis,question answering,text summarization,and machine translation.Finally,we discuss some challenges faced by the applications of pretrained language models.

关 键 词：预训练语言模型 自然语言处理 深度学习 信息提取 情感分析 问答系统 文本摘要 机器翻译 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]