直接答案
知识蒸馏和普通微调有什么区别?
普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。
不能因为使用了教师输出就推断学生完整继承教师能力。
放在一起比较
相近技术为什么不能混为一谈
普通微调
重点是让现有模型适应任务、格式或行为。
知识蒸馏
重点是把教师模型能力迁移给学生模型。
可能组合
教师生成训练样本,再用这些样本微调学生模型。
理解后可以这样检查
把概念落到真实项目中
- 先写清每种技术解决的问题
- 不要用成本指标替代质量指标
- 复杂组合从最小可用方案开始
核心主张与研究信源
本页答案由什么支撑
核心主张
普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。
证据边界
这条结论不能被怎样误读
当前可支持
普通微调主要使用人工标签或理想输出让模型适配任务;知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现,但两者的监督来源和目标并不相同。
需要保留的边界
不能因为使用了教师输出就推断学生完整继承教师能力。;微调和蒸馏都需要独立评测。
版本记录与内容责任
谁负责、什么时候修改、如何纠错
内容负责人
白磊负责问题设计、信源关联、边界审查和版本复核。
首次公开
2026-07-25,作为“知识蒸馏”知识点的独立问题页面。
当前版本
第1.0版;后续研究与平台变化通过修订记录更新。
利益关系
GEO百科可能获得品牌或商业收益;本站自身表现不作为独立学术证据。