蒸馏方法

作品数：77被引量：106H指数：5
导出分析报告
相关领域：化学工程轻工技术与工程更多>>
相关作者：张龙王军王海波顾正桂欧卫华更多>>
相关机构：中国石油化工股份有限公司浙江大学抚顺石油化工研究院北京百度网讯科技有限公司更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家科技部专项基金广西科技厅资助项目博士科研启动基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
大模型知识蒸馏方法研究进展
《河北省科学院学报》2025年第2期94-96,共3页李通 羊红光 刘康 路凯 刘龙 
深度神经网络(DNNs)在各类任务中取得了显著成就。然而,高性能深度神经网络模型往往包含大量的参数,在推理阶段存在巨大的计算开销。大模型知识蒸馏技术将大型、复杂模型(教师模型)的知识迁移到较小、高效模型(学生模型)中,显著降低了...
关键词：计算开销 知识蒸馏 大模型 深度神经网络 
基于自监督对抗学习的多尺度知识蒸馏方法
《控制与决策》2025年第3期880-888,共9页张建 梁兴柱 张康 林玉娥 夏晨星 
安徽理工大学医学专项培育项目(YZ2023H2C005);国家自然科学基金项目(62102003);安徽理工大学环境友好材料与职业健康研究院研发专项基金项目(ALW2021YF04);安徽理工大学研究生创新基金项目(2023cx2139).
针对离线知识蒸馏中因教师与学生之间规模差距过大,知识难以有效传递,导致学生性能不佳的问题,提出一种基于自监督对抗学习的多尺度知识蒸馏方法(SAMKD),并利用自监督和对抗学习进一步开发中间多尺度特征与网络末端输出特征logits的潜力...
关键词：知识蒸馏 自监督学习 对抗学习 多尺度特征 
面向目标检测的对比知识蒸馏方法
《计算机应用》2025年第2期354-361,共8页杨晟 李岩 
知识蒸馏在图像分类等任务中是最有效的模型压缩方法之一,然而它在复杂任务如目标检测上的应用较少。现有的知识蒸馏方法主要专注于构建信息图,以过滤教师和学生在特征提取过程中来自前景或背景区域的噪声,最小化特征之间的均方差损失;...
关键词：深度神经网络 知识蒸馏 对比学习 模型压缩 目标检测 
基于强度相关正则化学习的对抗鲁棒蒸馏方法
《计算机工程》2025年第1期42-50,共9页林烁彬 蔡捷仪 方晓城 张正 卢光明 陈炳志 
国家自然科学基金青年科学基金(62302172)。
针对现有对抗鲁棒蒸馏(ARD)方法存在不充分和不可靠的教师网络指导及固定的攻击强度问题,提出一种基于强度相关正则化学习(ICRL)的ARD方法。该方法包括多维度知识蒸馏和强度动态调整攻击两个关键模块。多维度知识蒸馏通过跨越师生logit...
关键词：对抗鲁棒 对抗训练 知识蒸馏 正则化 强度动态调整 
基于大语言模型的时序知识图谱推理模型蒸馏方法被引量：1
《指挥与控制学报》2024年第6期712-719,共8页司悦航 成清 黄金才 胡星辰 
国家自然科学基金(62376279)资助。
基于时序知识图谱的推理,是提升智能决策效率推理未来态势的技术基础。传统推理模型面临着模型参数规模大、计算硬件需求高等问题,难以满足低性能、低功耗分布式设备的实时推理决策要求。传统模型压缩方法忽略了时序特征。提出一种应用...
关键词：时序知识图谱 知识图谱推理 知识蒸馏 大语言模型 
面向目标类别分类的无数据知识蒸馏方法
《中国图象图形学报》2024年第11期3401-3416,共16页谢奕涛 苏鹭梅 杨帆 陈宇涵 
国家自然科学基金项目(62173282);福建省自然科学基金项目(2022J011255);厦门市自然科学基金项目(3502Z20227180)。
目的目前,研究者们大多采用无数据蒸馏方法解决训练数据缺乏的问题。然而,现有的无数据蒸馏方法在实际应用场景中面临着模型收敛困难和学生模型紧凑性不足的问题,为了满足针对部分类别的模型训练需求,灵活选择教师网络目标类别知识,本...
关键词：深度学习 图像分类 模型压缩 无数据知识蒸馏 生成器 
一种基于信息熵迁移的文本检测模型自蒸馏方法
《自动化学报》2024年第11期2128-2139,共12页陈建炜 杨帆 赖永炫 
科技创新2030——“新一代人工智能”重大项目(2021ZD0112600);国家自然科学基金委员会面上项目(62173282,61872154);广东省自然科学基金(2021A1515011578);深圳市基础研究专项面上项目(JCYJ20190809161603551)资助。
前沿的自然场景文本检测方法大多基于全卷积语义分割网络,利用像素级分类结果有效检测任意形状的文本,其主要缺点是模型大、推理时间长、内存占用高,这在实际应用中限制了其部署.提出一种基于信息熵迁移的自蒸馏训练方法(Self-distillat...
关键词：自然场景 文本检测 知识蒸馏 自蒸馏 信息熵 
一种基于多层特征对齐的知识蒸馏方法被引量：1
《火力与指挥控制》2024年第6期193-199,207,共8页闫泽阳 张宏伟 王子珍 彭晴晴 魏文豪 
实时目标检测算法(如YOLO)是为在资源有限的边缘设备上高效执行物体检测任务而设计的。因检测性能有限,提出一种基于多层特征对齐的知识蒸馏方法。为有效保留原始数据中的知识,引入将教师和学生模型的多个中间层知识纳入其中的蒸馏指标...
关键词：知识蒸馏 YOLO算法 多层特征对齐 目标检测 
针对浒苔目标检测的全局背景强化的位置蒸馏方法
《测绘通报》2024年第6期19-23,共5页刘兵 刘宇 金凤学 邹一波 葛艳 赵林林 
自然资源部生态预警与保护修复重点实验室开放基金(2022105)。
浒苔检测是目前海洋环境智能监测领域研究的重要课题之一。为了有效解决传统浒苔检测方法存在的训练样本需求大的问题,本文提出了一种全局背景强化的位置蒸馏模型(GBS-LD)。通过引入全局上下文模块和背景蒸馏损失分支,解决了原始位置蒸...
关键词：浒苔 位置蒸馏 全局背景强化 目标检测 深度学习 
一种全面的少标签样本情形下的知识蒸馏方法
《数据分析与知识发现》2024年第1期104-113,共10页刘彤 任欣儒 尹金辉 倪维健 
山东省自然科学基金项目(项目编号:ZR2022MF319);山东科技大学青年教师教学拔尖人才培养项目(项目编号:BJ20211110)和山东科技大学专业学位研究生教学案例库建设项目的研究成果之一。
【目的】针对在自然语言处理中有标签样本稀缺和高性能的大规模参数量模型训练成本高的问题,本文在有标签样本不足情况下,通过知识蒸馏方法,提升在高性能大参数量模型指导下的小参数量模型性能。【方法】通过噪声提纯方法,从无标签数据...
关键词：知识蒸馏 半监督学习 少标签样本 文本分类 
全选清除导出
共8页<12345678>
检索报告 对象比较 聚类工具 使用帮助 返回顶部