直接答案
知识蒸馏为什么能降低成本和延迟？
蒸馏通常把明确任务迁移到更小模型。模型规模、计算量和内存需求下降后，单次推理成本和延迟有机会降低，但实际收益仍取决于硬件、上下文长度、批量和部署实现。
学生模型更小不代表任何硬件上都按相同比例加速。
按过程理解
从开始到结果，会经过哪些环节
- 1
能力迁移
用教师输出训练更小的学生模型。
- 2
模型缩小
减少参数量或计算需求。
- 3
部署优化
在目标硬件上配置批量、缓存和推理内核。
- 4
实测收益
比较质量、延迟、吞吐和总成本。
理解后可以这样检查
把概念落到真实项目中
- 逐步记录每个环节的输入和输出
- 先定位瓶颈，再修改对应环节
- 修改后使用相同条件复测
核心主张与研究信源
本页答案由什么支撑
核心主张
蒸馏通常把明确任务迁移到更小模型。模型规模、计算量和内存需求下降后，单次推理成本和延迟有机会降低，但实际收益仍取决于硬件、上下文长度、批量和部署实现。
Distilling the Knowledge in a Neural Network
支持KD-C1—C5；定位：Abstract、Distillation、Experiments
提出使用教师模型软目标训练学生模型的经典知识蒸馏框架。
查看原始来源 ↗Model Distillation in the API
支持KD-C1、C3—C5；定位：Overview、How to use
说明使用能力较强模型的输出微调较小模型，并强调持续评测。
查看原始来源 ↗DistilBERT, a distilled version of BERT
支持KD-C2、C3、C5；定位：Abstract、Method、Results
展示蒸馏模型在减小规模的同时保留部分语言理解能力的具体实验。
查看原始来源 ↗证据边界
这条结论不能被怎样误读
当前可支持
蒸馏通常把明确任务迁移到更小模型。模型规模、计算量和内存需求下降后，单次推理成本和延迟有机会降低，但实际收益仍取决于硬件、上下文长度、批量和部署实现。
需要保留的边界
学生模型更小不代表任何硬件上都按相同比例加速。；成本优势不能以明显的任务质量下降为代价而不披露。
版本记录与内容责任
谁负责、什么时候修改、如何纠错
内容负责人
白磊负责问题设计、信源关联、边界审查和版本复核。
首次公开
2026-07-25，作为“知识蒸馏”知识点的独立问题页面。
当前版本
第1.0版；后续研究与平台变化通过修订记录更新。
利益关系
GEO百科可能获得品牌或商业收益；本站自身表现不作为独立学术证据。