基于深度学习的对话系统构建  

作　　者：李雅元 柳博瀚 

机构地区：[1]北京交通大学计算机与信息技术学院,北京100044

出　　处：《中国科技成果》2022年第8期39-42,共4页China Science and Technology Achievements

摘　　要：近年来,Transformer以及BERT模型的出现彻底改变了NLP领域的发展。本研究成果利用BERT模型的变体UniLM进行下游任务训练,训练出对话模型。为了丰富对话系统的功能,创新性地构造了知识库模块、语言糢拟模块、情感模块、语料自学习模块以及敏感词汇过滤模块。本系统额外训练了BERT糢型及其另一个变体XLM-RoBERTa模型,分别对其训练了分类以及文本相似度任务。另外,为实现语料自学习糢块,本文还借助了预训练BERT糢型时的NSP任务,判断上下文句子间的关系并决定是否将其学习到语料库中。通过本文构造的对话系统具有较高的灵活性以及“生命力”,弥补了目前生成式对话机器人的缺失,可为类似方面的研究提供思路与方法。

关 键 词：对话系统 BERT TRANSFORMER 前缀树 文本相似度 

分 类 号：G63[文化科学—教育学]