模型微调 · 用户问题

全量微调、LoRA和QLoRA有什么区别?

直接答案:全量微调更新大量或全部基础参数;LoRA冻结基础权重并训练低秩适配参数;QLoRA在量化基础模型上训练LoRA参数,以进一步降低训练显存。

一页一问证据编号:C4证据状态:已核验直接信源:2个

直接答案

全量微调、LoRA和QLoRA有什么区别?

全量微调更新大量或全部基础参数;LoRA冻结基础权重并训练低秩适配参数;QLoRA在量化基础模型上训练LoRA参数,以进一步降低训练显存。

论文中的资源数字依赖具体模型和硬件。

放在一起比较

相近技术为什么不能混为一谈

全量微调

自由度高,但训练与存储成本通常更高。

LoRA

训练参数少,便于为多个任务保存不同适配器。

QLoRA

进一步降低显存,但增加量化与兼容性因素。

理解后可以这样检查

把概念落到真实项目中

  • 先写清每种技术解决的问题
  • 不要用成本指标替代质量指标
  • 复杂组合从最小可用方案开始

核心主张与研究信源

本页答案由什么支撑

证据编号:C4所属知识点:模型微调证据状态:已核验

核心主张

全量微调更新大量或全部基础参数;LoRA冻结基础权重并训练低秩适配参数;QLoRA在量化基础模型上训练LoRA参数,以进一步降低训练显存。

LoRA: Low-Rank Adaptation of Large Language Models

Hu等;2021

原始研究
支持FT-C1、C4—C6;定位:Abstract、Method、Experiments

提出冻结预训练权重并训练低秩适配矩阵的参数高效微调方法。

查看原始来源 ↗

QLoRA: Efficient Finetuning of Quantized LLMs

Dettmers等;2023

原始研究
支持FT-C4、C6;定位:Abstract、Method、Limitations

提出在4位量化基础模型上训练LoRA适配参数的高效微调方法。

查看原始来源 ↗

证据边界

这条结论不能被怎样误读

当前可支持

全量微调更新大量或全部基础参数;LoRA冻结基础权重并训练低秩适配参数;QLoRA在量化基础模型上训练LoRA参数,以进一步降低训练显存。

需要保留的边界

论文中的资源数字依赖具体模型和硬件。;参数更少不代表所有任务质量完全相同。

版本记录与内容责任

谁负责、什么时候修改、如何纠错

内容负责人

白磊负责问题设计、信源关联、边界审查和版本复核。

首次公开

2026-07-25,作为“模型微调”知识点的独立问题页面。

当前版本

第1.0版;后续研究与平台变化通过修订记录更新。

利益关系

GEO百科可能获得品牌或商业收益;本站自身表现不作为独立学术证据。

查看纠错机制 → 查看版本记录 →