一种高效的基于互学习的在线蒸馏系统  

作　　者：胡干 梁兴柱[2] 

机构地区：[1]安徽理工大学 [2]安徽理工大学,安徽理工大学环境友好材料与职业健康研究院(芜湖)

出　　处：《电子世界》2021年第23期132-134,共3页Electronics World

基　　金：芜湖市科技计划项目(2020yf48)。

摘　　要：蒸馏是一种让较少参数的学生模型学习大型教师模型知识的有效方法,然而这样高性能的教师模型往往很难获得。因此,一些研究人员提出了一种让每个学生模型相互学习的策略,以取代传统的师生学习范式。虽然这种方法最近取得了良好的效果,但学生网络之间的相互学习很容易提前达到饱和。故此提出了一种基于互学习的在线蒸馏系统(MLS)用于在线知识蒸馏,该系统为每个学生模型提出了一个权重评估机制(LFS)和一个虚拟教师。

关 键 词：学习范式 教师模型 在线蒸馏 虚拟教师 模型学习 权重评估 

分 类 号：G63[文化科学—教育学]