直接答案
量化和知识蒸馏有什么区别？
量化主要降低模型数值表示精度，通常不需要重新设计模型能力；知识蒸馏则用教师模型训练学生模型，重点是把能力迁移到更小模型。两者都可降低成本，但作用对象不同。
量化不等于学生模型学习教师模型。
放在一起比较
相近技术为什么不能混为一谈
量化
同一模型或相近结构，改变数值表示与计算精度。
蒸馏
训练新的学生模型，学习教师模型的行为或知识信号。
组合使用
学生模型训练完成后仍可进一步量化。
理解后可以这样检查
把概念落到真实项目中
- 先写清每种技术解决的问题
- 不要用成本指标替代质量指标
- 复杂组合从最小可用方案开始
核心主张与研究信源
本页答案由什么支撑
核心主张
量化主要降低模型数值表示精度，通常不需要重新设计模型能力；知识蒸馏则用教师模型训练学生模型，重点是把能力迁移到更小模型。两者都可降低成本，但作用对象不同。
Quantization overview
支持MQ-C1—C3、C6；定位：Overview
说明量化通过更低精度表示权重等数据以降低模型加载和使用的内存需求。
查看原始来源 ↗GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
支持MQ-C2—C4、C6；定位：Abstract、Method、Experiments
提出面向生成式预训练模型的训练后权重量化方法。
查看原始来源 ↗QLoRA: Efficient Finetuning of Quantized LLMs
支持MQ-C4—C6；定位：Abstract、Method、Limitations
展示4位量化基础模型与LoRA适配参数训练的组合方法。
查看原始来源 ↗证据边界
这条结论不能被怎样误读
当前可支持
量化主要降低模型数值表示精度，通常不需要重新设计模型能力；知识蒸馏则用教师模型训练学生模型，重点是把能力迁移到更小模型。两者都可降低成本，但作用对象不同。
需要保留的边界
量化不等于学生模型学习教师模型。；蒸馏也不自动决定最终数值精度。
版本记录与内容责任
谁负责、什么时候修改、如何纠错
内容负责人
白磊负责问题设计、信源关联、边界审查和版本复核。
首次公开
2026-07-25，作为“模型量化”知识点的独立问题页面。
当前版本
第1.0版；后续研究与平台变化通过修订记录更新。
利益关系
GEO百科可能获得品牌或商业收益；本站自身表现不作为独立学术证据。