蒸馏方法

作品数：75被引量：105H指数：5
导出分析报告
相关领域：化学工程轻工技术与工程更多>>
相关作者：张龙王军王海波顾正桂欧卫华更多>>
相关机构：中国石油化工股份有限公司抚顺石油化工研究院浙江大学中国石油化工集团公司更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家科技部专项基金广西科技厅资助项目博士科研启动基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
面向目标检测的对比知识蒸馏方法
《计算机应用》2025年第2期354-361,共8页杨晟 李岩 
知识蒸馏在图像分类等任务中是最有效的模型压缩方法之一,然而它在复杂任务如目标检测上的应用较少。现有的知识蒸馏方法主要专注于构建信息图,以过滤教师和学生在特征提取过程中来自前景或背景区域的噪声,最小化特征之间的均方差损失;...
关键词：深度神经网络 知识蒸馏 对比学习 模型压缩 目标检测 
基于强度相关正则化学习的对抗鲁棒蒸馏方法
《计算机工程》2025年第1期42-50,共9页林烁彬 蔡捷仪 方晓城 张正 卢光明 陈炳志 
国家自然科学基金青年科学基金(62302172)。
针对现有对抗鲁棒蒸馏(ARD)方法存在不充分和不可靠的教师网络指导及固定的攻击强度问题,提出一种基于强度相关正则化学习(ICRL)的ARD方法。该方法包括多维度知识蒸馏和强度动态调整攻击两个关键模块。多维度知识蒸馏通过跨越师生logit...
关键词：对抗鲁棒 对抗训练 知识蒸馏 正则化 强度动态调整 
基于大语言模型的时序知识图谱推理模型蒸馏方法
《指挥与控制学报》2024年第6期712-719,共8页司悦航 成清 黄金才 胡星辰 
国家自然科学基金(62376279)资助。
基于时序知识图谱的推理,是提升智能决策效率推理未来态势的技术基础。传统推理模型面临着模型参数规模大、计算硬件需求高等问题,难以满足低性能、低功耗分布式设备的实时推理决策要求。传统模型压缩方法忽略了时序特征。提出一种应用...
关键词：时序知识图谱 知识图谱推理 知识蒸馏 大语言模型 
面向目标类别分类的无数据知识蒸馏方法
《中国图象图形学报》2024年第11期3401-3416,共16页谢奕涛 苏鹭梅 杨帆 陈宇涵 
国家自然科学基金项目(62173282);福建省自然科学基金项目(2022J011255);厦门市自然科学基金项目(3502Z20227180)。
目的目前,研究者们大多采用无数据蒸馏方法解决训练数据缺乏的问题。然而,现有的无数据蒸馏方法在实际应用场景中面临着模型收敛困难和学生模型紧凑性不足的问题,为了满足针对部分类别的模型训练需求,灵活选择教师网络目标类别知识,本...
关键词：深度学习 图像分类 模型压缩 无数据知识蒸馏 生成器 
一种基于信息熵迁移的文本检测模型自蒸馏方法
《自动化学报》2024年第11期2128-2139,共12页陈建炜 杨帆 赖永炫 
科技创新2030——“新一代人工智能”重大项目(2021ZD0112600);国家自然科学基金委员会面上项目(62173282,61872154);广东省自然科学基金(2021A1515011578);深圳市基础研究专项面上项目(JCYJ20190809161603551)资助。
前沿的自然场景文本检测方法大多基于全卷积语义分割网络,利用像素级分类结果有效检测任意形状的文本,其主要缺点是模型大、推理时间长、内存占用高,这在实际应用中限制了其部署.提出一种基于信息熵迁移的自蒸馏训练方法(Self-distillat...
关键词：自然场景 文本检测 知识蒸馏 自蒸馏 信息熵 
一种基于多层特征对齐的知识蒸馏方法被引量：1
《火力与指挥控制》2024年第6期193-199,207,共8页闫泽阳 张宏伟 王子珍 彭晴晴 魏文豪 
实时目标检测算法(如YOLO)是为在资源有限的边缘设备上高效执行物体检测任务而设计的。因检测性能有限,提出一种基于多层特征对齐的知识蒸馏方法。为有效保留原始数据中的知识,引入将教师和学生模型的多个中间层知识纳入其中的蒸馏指标...
关键词：知识蒸馏 YOLO算法 多层特征对齐 目标检测 
针对浒苔目标检测的全局背景强化的位置蒸馏方法
《测绘通报》2024年第6期19-23,共5页刘兵 刘宇 金凤学 邹一波 葛艳 赵林林 
自然资源部生态预警与保护修复重点实验室开放基金(2022105)。
浒苔检测是目前海洋环境智能监测领域研究的重要课题之一。为了有效解决传统浒苔检测方法存在的训练样本需求大的问题,本文提出了一种全局背景强化的位置蒸馏模型(GBS-LD)。通过引入全局上下文模块和背景蒸馏损失分支,解决了原始位置蒸...
关键词：浒苔 位置蒸馏 全局背景强化 目标检测 深度学习 
一种全面的少标签样本情形下的知识蒸馏方法
《数据分析与知识发现》2024年第1期104-113,共10页刘彤 任欣儒 尹金辉 倪维健 
山东省自然科学基金项目(项目编号:ZR2022MF319);山东科技大学青年教师教学拔尖人才培养项目(项目编号:BJ20211110)和山东科技大学专业学位研究生教学案例库建设项目的研究成果之一。
【目的】针对在自然语言处理中有标签样本稀缺和高性能的大规模参数量模型训练成本高的问题,本文在有标签样本不足情况下,通过知识蒸馏方法,提升在高性能大参数量模型指导下的小参数量模型性能。【方法】通过噪声提纯方法,从无标签数据...
关键词：知识蒸馏 半监督学习 少标签样本 文本分类 
基于提示方法与知识蒸馏方法的口语语音识别模型构建被引量：1
《西华大学学报（自然科学版）》2023年第6期59-67,共9页郭嘉 彭太乐 
国家自然科学基金项目(61976101);安徽省高校自然科学研究项目(KJ2017A843)。
提示方法是利用预训练语言模型的一种有效技术,只需要少量的示例就可以使用语言模型进行一个新的自然语言任务。文章提出了一种新的基于提示方法和知识蒸馏方法的语音识别模型(SpokenPrompt-KD模型)。该模型利用Wav2Vec模型将语音转化...
关键词：自然语言处理 提示方法 语音识别模型 知识蒸馏 
基于相似一致性的模型自蒸馏方法
《计算机科学》2023年第11期259-268,共10页万旭 毛莺池 王孜博 刘意 平萍 
国家十四五重点研发计划(2022YFC3005401);云南省重点研发计划(202203AA080009,202202AF080003);江苏省科技成果转化项目(BA2021002);江苏省重点研发计划(BE2020729)。
针对传统自蒸馏方法存在数据预处理成本高、局部特征检测缺失,以及模型分类精度低的情况,提出了基于相似一致性的模型自蒸馏方法(Similarity and Consistency by Self-Distillation,SCD),提高模型分类精度。首先,对样本图像的不同层进...
关键词：知识蒸馏 知识表达 自蒸馏 相似一致性 知识矩阵 
全选清除导出
共8页<12345678>
检索报告 对象比较 聚类工具 使用帮助 返回顶部