GGEO百科

大模型工程化与知识增强

蒸馏、量化、微调和RAG到底有什么区别？

直接答案：蒸馏解决能力迁移，量化解决部署资源，微调解决任务行为，RAG解决外部知识。四种技术可以组合，但不能互相替代。

综合对比入口4个概念20个关联问题证据状态：已核验

先用一句话分清

四种技术解决四类不同问题

蒸馏解决能力迁移，量化解决部署资源，微调解决任务行为，RAG解决外部知识。四种技术可以组合，但不能互相替代。

概念主要解决什么改变什么最容易误解
知识蒸馏把教师能力迁移给更小模型训练新的学生模型不是完整复制教师全部能力
模型量化减少显存和计算资源降低权重或激活等数值精度省显存不等于任何硬件都更快
模型微调让模型适配任务、格式和行为更新全部参数或适配参数不等于建立可更新的企业知识库
RAG让回答调用外部资料推理时检索并加入上下文接入知识库不等于彻底消除幻觉

根据真实问题选择

先判断你遇到的是能力、资源、行为还是知识问题

大模型调用成本太高

知识蒸馏

把明确任务迁移给更小模型，并比较质量与成本。

显存不足或无法部署

模型量化

在目标硬件上测试位宽、速度和质量。

输出格式或任务行为不稳定

模型微调

先建立评测，再用高质量示例训练。

企业资料经常更新

RAG

让答案在运行时检索当前资料并返回来源。

可以组合，但要逐步增加

一个系统可以同时使用四种技术

  1. 1

    先定义业务任务

    明确质量、延迟、知识更新和成本目标。

  2. 2

    蒸馏明确能力

    把高成本模型的特定任务能力迁移到小模型。

  3. 3

    量化降低部署资源

    在目标设备上验证质量与速度。

  4. 4

    微调稳定行为

    让模型遵循输出格式或业务流程。

  5. 5

    RAG接入当前知识

    把外部资料、权限和来源加入回答过程。

  6. 6

    逐层建立评测

    每增加一种技术，都保留上一步基线和失败样本。

20个关联问题

继续进入具体问题

知识蒸馏

知识蒸馏是什么？

知识蒸馏是一种知识迁移方法：教师模型提供软目标、输出结果或中间表示，学生模型利用这些信号学习，在明确任务上尽量接近教师模型，同时使用更少的参数或更低的运行成本。

查看答案 →知识蒸馏

学生模型会完整复制教师模型的能力吗？

通常不会。学生模型受容量、训练数据、蒸馏目标和评测范围限制，往往只在部分任务上接近教师模型，通用知识、边缘能力和鲁棒性可能明显下降。

查看答案 →知识蒸馏

知识蒸馏为什么能降低成本和延迟？

蒸馏通常把明确任务迁移到更小模型。模型规模、计算量和内存需求下降后，单次推理成本和延迟有机会降低，但实际收益仍取决于硬件、上下文长度、批量和部署实现。

查看答案 →知识蒸馏

知识蒸馏和普通微调有什么区别？

普通微调主要使用人工标签或理想输出让模型适配任务；知识蒸馏强调使用教师模型产生的更丰富信号训练学生模型。蒸馏经常通过微调实现，但两者的监督来源和目标并不相同。

查看答案 →知识蒸馏

怎样判断蒸馏后的模型还能不能用？

需要同时比较学生模型与教师模型在目标任务上的质量、失败类型、延迟、吞吐、成本和安全表现，并使用未参与训练的数据进行重复评测。

查看答案 →模型量化

模型量化到底改变了什么？

模型量化改变的是模型权重、激活值或其他计算数据的数值表示精度，例如从16位或32位浮点表示降到8位或4位表示，以减少内存和计算开销。

查看答案 →模型量化

4位、8位量化是什么意思？

4位或8位通常表示模型的部分权重或计算数据使用约4个或8个二进制位表示。位宽越低，理论存储占用越小，但误差控制、硬件支持和运行质量通常更难。

查看答案 →模型量化

模型量化后一定会变快吗？

不一定。量化通常能降低显存和数据传输需求，但是否加速还取决于硬件是否支持低精度计算、推理内核是否优化、批量大小和解量化开销。

查看答案 →模型量化

量化会让模型能力下降多少？

没有统一答案。能力变化取决于位宽、量化对象、算法、校准数据、模型结构和任务。合理方法可能在部分评测中保持大部分能力，但低位量化也可能显著损害特定推理和生成任务。

查看答案 →模型量化

量化和知识蒸馏有什么区别？

量化主要降低模型数值表示精度，通常不需要重新设计模型能力；知识蒸馏则用教师模型训练学生模型，重点是把能力迁移到更小模型。两者都可降低成本，但作用对象不同。

查看答案 →模型量化

怎样选择适合自己的量化方式？

先明确目标硬件、可接受质量损失、上下文长度和吞吐要求，再用代表性数据比较不同位宽与方法。不要只根据“4位更省”或单一排行榜做决定。

查看答案 →模型微调

模型微调到底改变了什么？

模型微调使用特定任务数据继续训练基础模型，改变全部参数或新增适配参数，使模型更稳定地遵循目标任务、格式、风格或工具调用方式。

查看答案 →模型微调

微调能把企业知识永久教给模型吗？

不能这样保证。微调可能让模型学习训练数据中的模式和部分事实，但难以保证完整、精确、可更新地记住全部企业知识。频繁变化且必须核对原文的信息通常更适合RAG。

查看答案 →模型微调

微调和RAG有什么区别？

微调主要改变模型“怎样回答和执行任务”，RAG主要在回答时提供“现在应该依据哪些外部资料”。需要稳定行为时优先考虑微调，需要最新、可引用知识时优先考虑RAG。

查看答案 →模型微调

全量微调、LoRA和QLoRA有什么区别？

全量微调更新大量或全部基础参数；LoRA冻结基础权重并训练低秩适配参数；QLoRA在量化基础模型上训练LoRA参数，以进一步降低训练显存。

查看答案 →模型微调

什么情况下不应该微调？

当问题可以通过更清楚的提示词、结构化输出、工具调用或RAG解决，训练数据不足或没有可靠评测时，不应急于微调。平台能力和模型生命周期不稳定时也要谨慎。

查看答案 →模型微调

怎样判断微调是否真的有效？

在训练前建立基线，使用独立评测集比较基础模型和微调模型，并同时检查目标任务、通用能力、安全、成本和失败样本。

查看答案 →RAG

微调和RAG到底应该选哪个？

需要改变模型的任务行为、格式和稳定性时优先考虑微调；需要接入频繁更新、必须追踪来源的知识时优先考虑RAG。复杂系统可以组合，但应先确认单一方案是否足够。

查看答案 →RAG

蒸馏、量化和RAG可以一起使用吗？

可以。系统可以使用蒸馏后的小模型承担明确任务，再通过量化降低部署资源，同时用RAG接入外部知识。但每增加一种技术，都会增加兼容、评测和故障定位成本。

查看答案 →

核心研究与官方资料

四种技术分别由什么证据支撑

Distilling the Knowledge in a Neural Network

Hinton、Vinyals、Dean；2015

原始研究
支持KD-C1—C5；定位：Abstract、Distillation、Experiments

提出使用教师模型软目标训练学生模型的经典知识蒸馏框架。

查看原始来源 ↗

GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

Frantar等；2022

原始研究
支持MQ-C2—C4、C6；定位：Abstract、Method、Experiments

提出面向生成式预训练模型的训练后权重量化方法。

查看原始来源 ↗

LoRA: Low-Rank Adaptation of Large Language Models

Hu等；2021

原始研究
支持FT-C1、C4—C6；定位：Abstract、Method、Experiments

提出冻结预训练权重并训练低秩适配矩阵的参数高效微调方法。

查看原始来源 ↗

QLoRA: Efficient Finetuning of Quantized LLMs

Dettmers等；2023

原始研究
支持FT-C4、C6；定位：Abstract、Method、Limitations

提出在4位量化基础模型上训练LoRA适配参数的高效微调方法。

查看原始来源 ↗

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Lewis等；NeurIPS 2020

同行评审·原始研究
支持RAG定义与机制；定位：Abstract、Methods

RAG原始定义与知识密集型任务实验。

查看原始来源 ↗
SEO.CN相关文章用于发现中文用户常见疑问与通俗表达，不作为核心技术主张的主要证据。

证据边界与内容责任

技术选择不能脱离模型、任务和环境

论文和官方文档中的效果都依赖具体模型、数据、硬件和时间。页面不提供固定产品榜单，不把特定实验数字外推为所有项目的结果，也不保证使用任一技术后获得流量、排名或商业回报。白磊负责来源核验、边界审查与版本复核。