基于知识蒸馏的口语理解模型研究与实现  

作　　者：侯晓龙 周培林 邹月娴[1] 

机构地区：[1]北京大学深圳研究生院现代数字信号处理实验室,广东省深圳市518055

出　　处：《电子技术与软件工程》2021年第2期180-184,共5页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

摘　　要：本文首先设计了一个基于BERT的双任务联合学习模型建模口语理解中的意图识别和槽位填充任务,然后基于知识蒸馏思想对模型进行指导训练,最后在两个口语理解基准数据集ATIS和SNIPS上进行了实验验证。实验结果表明,所获得的蒸馏口语理解模型参数量不到教师模型的三分之一,推断速度分别是原基线模型的6.7和8.6倍,而性能在大多数指标上无明显下降。

关 键 词：口语理解 意图识别 槽位填充 联合学习 知识蒸馏 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术] TP183[自动化与计算机技术—计算机科学与技术]