知识蒸馏 · 用户问题

知识蒸馏和普通微调有什么区别?

直接答案:普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。

一页一问证据编号:C4证据状态:已核验直接信源:2个

直接答案

知识蒸馏和普通微调有什么区别?

普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。

不能因为使用了教师输出就推断学生完整继承教师能力。

放在一起比较

相近技术为什么不能混为一谈

普通微调

重点是让现有模型适应任务、格式或行为。

知识蒸馏

重点是把教师模型能力迁移给学生模型。

可能组合

教师生成训练样本,再用这些样本微调学生模型。

理解后可以这样检查

把概念落到真实项目中

  • 先写清每种技术解决的问题
  • 不要用成本指标替代质量指标
  • 复杂组合从最小可用方案开始

核心主张与研究信源

本页答案由什么支撑

证据编号:C4所属知识点:知识蒸馏证据状态:已核验

核心主张

普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。

Distilling the Knowledge in a Neural Network

Hinton、Vinyals、Dean;2015

原始研究
支持KD-C1—C5;定位:Abstract、Distillation、Experiments

提出使用教师模型软目标训练学生模型的经典知识蒸馏框架。

查看原始来源 ↗

Model Distillation in the API

OpenAI;2024

官方产品与方法说明
支持KD-C1、C3—C5;定位:Overview、How to use

说明使用能力较强模型的输出微调较小模型,并强调持续评测。

查看原始来源 ↗

证据边界

这条结论不能被怎样误读

当前可支持

普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。

需要保留的边界

不能因为使用了教师输出就推断学生完整继承教师能力。;微调和蒸馏都需要独立评测。

版本记录与内容责任

谁负责、什么时候修改、如何纠错

内容负责人

白磊负责问题设计、信源关联、边界审查和版本复核。

首次公开

2026-07-25,作为“知识蒸馏”知识点的独立问题页面。

当前版本

第1.0版;后续研究与平台变化通过修订记录更新。

利益关系

GEO百科可能获得品牌或商业收益;本站自身表现不作为独立学术证据。

查看纠错机制 → 查看版本记录 →