大模型实战指南（6）——微调入门：让模型说你的“行话”

你问 Qwen“我们公司的 OA 审批流走的什么协议”，它说不知道。你把审批流文档喂给它，它说请咨询管理员。同事告诉你“微调一下就好了”，你搜了半天教程，发现 Full Fine-tuning 要 8 张 A100、LoRA 要配一堆参数、QLoRA 又是什么 4-bit 量化——每个词都认识，连在一起完全看不懂。这篇把微调这件事从原理到代码彻底拆透，让你读完能在一张消费级显卡上跑通自己的第一个 LoRA。

---

写在前面

这是《大模型实战指南》系列第六篇。前五篇拆的是大模型的“内部零件”——Token、上下文窗口、温度采样、Embedding、Harness。这一篇回到模型本身，聊一个很多人听过但一直没搞明白的问题：微调到底干了什么，为什么能干，以及你自己能不能干。

先澄清一个最常见的误解：很多人以为微调就是“重新训练一个模型”。不是的。你用的是别人预训练好的模型（比如 Qwen、LLaMA），它已经花了数千张 GPU、数月时间、万亿级 token 学会了语言的底层规律。微调不是推翻重来，而是在这个已经学会走路的孩子身上，教他一门方言。

这篇文章的目标：看完之后，你不仅能跟人聊清楚 Full FT / LoRA / QLoRA 的区别，还能在一张 RTX 4090 上跑通自己的第一个微调实验，全程代码可复现。

---

一、微调到底改了什么：一次“外科手术”而非“重新洗牌”

1.1 一个类比

想象一个医学院毕业的全科医生，什么都会一点，但不太懂你们医院心内科的专有流程。

你有两条路：

路线 A：把他送回医学院重新读 5 年（预训练）——成本天文数字，也没必要。

路线 B：让他在你们心内科实习 2 周（微调）——成本低，而且他本来就懂医学基础，只需要学你们科室的“行话和规矩”。

微调就是路线 B。模型的底层语言能力、常识推理、代码理解——这些在预训练阶段已经学会了，不需要重学。微调只做一件事：用少量高质量领域数据，调整模型在特定任务上的输出分布。

1.2 微调改的是权重，不是知识库

一个关键区分：微调和 RAG 的本质区别不在于“用好谁的数据”，而在于改了什么。

• RAG：给模型配一个“随身图书馆”。模型本身的参数一个都没动，只是推理时把检索到的文档注入上下文。
• 微调：直接改了模型内部的权重参数。模型的“直觉”被调整了——它不需要看到参考文档，就能按你的风格和领域逻辑回答。

打个比方：RAG 是给模型一本书让它翻着答，微调是把知识“练进肌肉记忆”里。所以微调擅长的是风格、格式、领域表达方式这些“怎么说话”的事，而不是“知道什么新事实”。这一点后面会反复强调。

1.3 三种微调路线

2026 年你听到“微调”这个词，大概率指以下三种之一：

路线	全称	一句话概括
Full FT	Full Fine-Tuning	全部参数都改，精度最高，显存最贵
LoRA	Low-Rank Adaptation	冻结原参数，只训练旁路小矩阵，性价比之王
QLoRA	Quantized LoRA	先把模型 4-bit 量化压缩，再上 LoRA，消费级显卡能跑

下面逐个拆。

---

二、Full Fine-Tuning：最直白也最贵的方式

2.1 原理

Full Fine-Tuning 是最直觉的方式：拿预训练好的模型，在领域数据上继续训练，更新所有参数。

Transformer 的每一层、每一个注意力权重、每一个前馈网络的参数——全都被梯度更新。模型从“通才”被拉向“专才”。

2.2 显存账单：为什么普通人玩不起

这是 Full FT 最大的门槛。训练时显存不只是“装下模型权重”那么简单。以 7B 参数模型为例，用 AdamW 优化器 + BF16 混合精度训练：

项目	计算公式	7B 模型	说明
模型参数（BF16）	7B × 2 字节	14 GB	权重本身
梯度（BF16）	7B × 2 字节	14 GB	反向传播产生的梯度
Adam 优化器状态（FP32）	7B × 8 字节	56 GB	一阶矩 m + 二阶矩 v，各 4 字节
合计（不含激活值）	7B × 12 字节	84 GB	还没算前向传播的激活值缓存

一张 A100 80GB 刚好装不下，一张 RTX 4090（24GB）连零头都不够。

如果是 70B 模型呢？70B × 12 = 840GB，需要 11 张 A100 80GB——这不是个人或小团队能玩的。

注意一个关键细节：Adam 优化器状态占了 56GB，是显存的大头。它存的是每个参数的“历史梯度统计”（动量和方差），用来决定每次更新的方向和步长。参数多一个字节，优化器状态就多好几个字节——这是全参数微调显存爆炸的根本原因。

2.3 Full FT 的适用场景

虽然贵，但有不可替代的场景：

• 领域迁移大：从通用模型变成医疗、法律垂直模型，差距太大时需要改全量参数
• 性能追求极致：参加比赛、做 benchmark 刷分，差 1% 都要争
• 有充足算力：大厂或研究机构，有 A100/H100 集群

但对 95% 的实际项目来说，Full FT 不是必须的。接下来介绍的方法，用 1% 的成本能达到 90% 以上的效果。

---

三、LoRA 原理拆解：两个小矩阵的魔术

这是 2026 年微调的绝对主流。理解了 LoRA，你就理解了参数高效微调（PEFT）的精髓。

3.1 论文来源

LoRA 出自微软 2021 年的论文《LoRA: Low-Rank Adaptation of Large Language Models》（arXiv:2106.09685），作者 Edward Hu 等人。这篇论文的核心贡献是：在 GPT-3 175B 上，将可训练参数减少了 10000 倍，GPU 显存降低了 3 倍，且不增加任何推理延迟。

3.2 核心思想：权重更新是低秩的

先看全参数微调在干什么：

原始权重 W₀，微调后变成 W = W₀ + ΔW

全参数微调是直接学一个和 W₀ 同样大小的 ΔW（d×d 矩阵），参数量巨大。

LoRA 的核心假设是：ΔW 是低秩的。什么意思？虽然 ΔW 是一个 d×d 的大矩阵，但它的有效信息可以压缩到更低的维度。于是把它分解为两个小矩阵的乘积：

ΔW = B × A

其中：

• B ∈ ℝ^{d×r}，A ∈ ℝ^{r×d}
• r 是"秩"（rank），远小于 d
• 例如 d=4096，r=8，则 B 是 4096×8，A 是 8×4096
• 原来 ΔW 有 4096×4096 = 1677 万个参数，现在 A+B 只有 8×4096+4096×8 = 6.5 万个参数

减少了 250 倍，而这只是一个矩阵。Transformer 有很多权重矩阵，全部这样处理，总参数量减少到原来的 0.1%-1%。

3.3 图解 LoRA 前向传播

原始前向：      h = W₀ × x
LoRA 前向：     h = W₀ × x + B × A × x
                    ↑___________↑
                    冻结原权重，只训练 A 和 B

W₀ 完全冻结——不计算梯度、不更新、不存优化器状态。只有 A 和 B 是可训练的。

3.4 初始化设计：训练起点等价于原始模型

LoRA 的初始化有一个精巧的设计：

• A 用高斯分布随机初始化：A ~ N(0, σ²)
• B 初始化为全零矩阵：B = 0

因为 ΔW = B × A，而 B = 0，所以训练开始时 ΔW = 0。这意味着训练的第一步，模型的行为和原始模型完全一致——你不会因为加了 LoRA 就把模型搞坏，训练是从"不改变"的起点出发，逐步学习增量。

3.5 缩放因子 α/r：控制 LoRA 的"音量"

完整的 LoRA 前向公式：

h = W₀ × x + (α / r) × B × A × x

α（alpha）是缩放因子，用来控制 LoRA 增量相对于原始权重的"音量"。

• 为什么需要缩放：不同的 rank r 会让 B×A 的数值范围不同。r 越大，矩阵乘积的数值越大。除以 r 可以让不同 rank 的 LoRA 保持一致的"更新力度"。
• α 怎么设：实践中最常用的经验值是 α = 2r。比如 r=8 时设 α=16，r=16 时设 α=32。当然也可以独立调，但 2 倍是不错的起点。
• 直觉理解：α/r 越大，LoRA 的"修改幅度"越大；越小，修改越温和。α/r = 2 意味着 LoRA 增量的实际影响被放大 2 倍。

3.6 作用在哪些层：Attention 的四个投影矩阵

Transformer 每一层有两类关键权重：

自注意力层（决定模型"关注什么"）：

• q_proj（Query 投影）：模型"我要找什么"
• k_proj（Key 投影）：模型"我能提供什么匹配信息"
• v_proj（Value 投影）：模型"匹配上了给什么内容"
• o_proj（Output 投影）：注意力结果的输出变换

前馈网络层（决定模型"如何组合特征"）：

• gate_proj、up_proj、down_proj：多层感知机的三个线性变换

LoRA 原始论文只在注意力层的 Wq 和 Wv 上加 LoRA 适配器。但后来的实践表明，加在更多层上效果更好。2026 年的主流做法：

• 入门配置（效果够用）：只加 [“q_proj”, “v_proj”]——最经典、最稳妥
• 标准配置（推荐）：加 [“q_proj”, “k_proj”, “v_proj”, “o_proj”]——四个注意力投影全覆盖
• 进阶配置（追极致）：加上 [“gate_proj”, “up_proj”, “down_proj”]——FFN 层也加，但可训练参数更多，过拟合风险也更高

一个经验法则：如果你的数据量不到 1000 条，用入门配置就够了。数据量上千后考虑标准配置。数据量上万且任务复杂时再试进阶配置。

3.7 Rank 怎么选

秩 r 是 LoRA 最重要的超参数，直接决定了"能学多复杂的模式"。

参数规模	推荐 r	α 建议	说明
< 1B	4-8	2r	小模型不需要太高的表达能力
1B-10B	8-16	2r	大多数场景的金标准
> 10B	32-64	2r	大模型需要更高 rank 才能有效适配

r 不是越大越好。r 太大会：

• 增加可训练参数量，过拟合风险变大
• 显存占用增加（虽然远少于 Full FT）
• 训练变慢

r 也不是越小越好。r 太小会：

• 模型"学不动"复杂模式——比如多轮对话中的上下文转折逻辑
• Loss 下降缓慢，收敛后精度不够

实践中，r=8 是 90% 场景下的默认起点。先用 r=8 跑一个基线，如果效果不够再往上调到 16 或 32。不要一上来就 r=64——大概率是浪费算力。

3.8 LoRA 的杀手锏：可插拔 + 零推理开销

LoRA 有两个 Full FT 完全做不到的能力：

能力一：可插拔切换。

同一个基座模型，挂不同的 LoRA 适配器，就能切换"人格"：

Qwen-7B + 客服LoRA = 客服机器人
Qwen-7B + 代码LoRA = 编程助手
Qwen-7B + 医疗LoRA = 问诊系统

就像你手机上切换 App 一样——底层操作系统（基座模型）只有一个，上面跑什么"应用"（LoRA）随你切。vLLM 等推理框架已经原生支持多 LoRA 并发服务。

能力二：零推理开销。

如果你不想切换，只需要一个 LoRA，可以把 LoRA 权重直接合并回基座模型：

W_merged = W₀ + (α/r) × B × A

合并后就是一个完整的标准模型，推理时没有任何额外计算——跟全参数微调的模型推理速度完全一样。

---

四、QLoRA：把门槛再砍一刀

LoRA 已经很省了，但它仍然需要把完整的基座模型权重加载到 GPU 显存里。一个 7B 模型的 BF16 权重是 14GB，RTX 3060（12GB）还是装不下。

QLoRA 解决的就是这个问题：在 LoRA 的基础上，先把基座模型量化到 4-bit 再加载，进一步把显存砍下去。

4.1 论文来源

QLoRA 出自华盛顿大学 Tim Dettmers 等人 2023 年的论文《QLoRA: Efficient Finetuning of Quantized LLMs》（arXiv:2305.14314），发表于 NeurIPS 2023。

这篇论文的核心成果：在单块 48GB GPU 上微调 65B 参数模型，同时保持与 16 位全参数微调相同的性能。训练出的 Guanaco 模型在 Vicuna 基准上达到 ChatGPT 性能的 99.3%，只需单 GPU 训练 24 小时。

4.2 三大核心创新

创新一：4-bit NormalFloat（NF4）量化

普通量化是把 FP16 的数值均匀地映射到 INT4（4 位整数），但这不匹配大模型权重的实际分布。大模型的权重服从正态分布——中间密、两头疏。NF4 是一个信息论上最优的 4 位数据类型，它按正态分布的分位点来划分量化区间，让每个区间分配到相同数量的权重值。

简单说：NF4 量化比普通 INT4 量化精度更高，因为它是"量身定做"的。

创新二：双重量化（Double Quantization）

量化过程本身会产生"量化常数"（scale 和 zero-point），这些常数也占显存。双重量化把这些常数再量化一次——用 8-bit 存储原来的 32-bit 量化常数。平均每个参数节省 0.37 bit。听起来不多，但 65B 模型能省出好几 GB。

创新三：分页优化器（Paged Optimizers）

训练时偶尔会出现显存尖峰（比如长序列的前向传播），导致 OOM 崩溃。分页优化器利用 NVIDIA 的统一内存机制——当 GPU 显存快满时，自动把优化器状态换页到 CPU 内存，用完再换回来。就像操作系统的虚拟内存页面置换，让你不会因为偶尔的峰值而崩溃。

4.3 显存对比：QLoRA 把 65B 塞进 48GB

模型规模	Full FT 显存	LoRA 显存	QLoRA 显存	QLoRA 可用显卡
7B	~84 GB	~16 GB	~6 GB	RTX 3060 12GB
13B	~156 GB	~28 GB	~10 GB	RTX 4060 Ti 16GB
33B	~396 GB	~64 GB	~24 GB	RTX 4090 24GB
65B	~780 GB	~120 GB	~48 GB	A6000 48GB

QLoRA 把 65B 模型的微调门槛从 780GB 砍到 48GB——降低 16 倍。

4.4 QLoRA 的代价

天下没有免费的午餐。QLoRA 省了显存，但付出了两个代价：

代价一：训练速度变慢。 4-bit 量化和反量化需要额外计算。同样一个 7B 模型，QLoRA 训练速度比 LoRA 慢约 20-30%。你省了显卡的钱，花了时间。

代价二：量化精度损失。 虽然 NF4 已经是很优的量化方案，但 4-bit 毕竟只有 16 个离散值，对某些精度敏感的任务（比如数学计算、严格的格式输出），可能会有轻微质量下降。不过论文实验证明，在绝大多数任务上，QLoRA 和 LoRA 的效果差异可以忽略不计。

一个选择建议：如果你的显卡能放下 LoRA（比如 4090 微调 7B），优先用 LoRA。只有在显存真的不够时才上 QLoRA。如果 4090 要微调 13B 以上，那就必须 QLoRA 了。

---

五、显存计算实战：你的显卡到底能不能跑

这一节给你一个公式和一张速查表，以后不用再猜。

5.1 Full FT 显存公式

Full FT 显存 ≈ 模型参数量 × 12 字节 + 激活值

（AdamW 优化器 + BF16 混合精度）

• 参数（BF16）：P × 2
• 梯度（BF16）：P × 2
• 优化器状态（FP32 m+v）：P × 8
• 合计：P × 12

5.2 LoRA 显存公式

LoRA 显存 ≈ 模型参数量 × 2 字节 + LoRA 参数 × 12 字节 + 激活值

• 基座模型（BF16，冻结）：P × 2
• LoRA 参数（很小，约 0.1%-1% of P）：L × 12（也需要梯度+优化器）
• 激活值：取决于 batch size 和序列长度

关键：基座模型只占 2 字节/参数（纯加载，无梯度无优化器），大头被砍掉了。

5.3 QLoRA 显存公式

QLoRA 显存 ≈ 模型参数量 × 0.5 字节 + LoRA 参数 × 12 字节 + 激活值

• 基座模型（4-bit NF4，冻结）：P × 0.5
• LoRA 参数（FP32）：L × 12
• 激活值：同 LoRA

7B 模型的基座权重只需 3.5GB——这就是为什么 12GB 显存的 3060 也能跑。

5.4 速查表：常见组合

模型	方法	理论显存	推荐 GeForce 显卡	推荐数据中心卡
1.5B	LoRA	~4 GB	RTX 3060 12GB	-
1.5B	QLoRA	~2 GB	RTX 3050 8GB	-
7B	LoRA	~16 GB	RTX 4090 24GB	A10 24GB
7B	QLoRA	~6 GB	RTX 3060 12GB	T4 16GB
13B	LoRA	~28 GB	❌ 消费级不够	A100 40GB
13B	QLoRA	~10 GB	RTX 4060 Ti 16GB	T4 16GB
33B	QLoRA	~24 GB	RTX 4090 24GB	A100 40GB
70B	QLoRA	~48 GB	❌ 消费级不够	A100 80GB

注意：以上是"理论下限"。实际训练还需要加上激活值（取决于 batch size 和序列长度），以及 PyTorch 框架本身的固定开销（约 1-2GB）。给理论值加 20% 的余量比较安全。

---

六、代码实战：30 行跑一次 LoRA 微调

理论说够了，上手写代码。我们用 Hugging Face 的 transformers + trl + peft 三件套，微调一个 Qwen2.5-1.5B 模型。选 1.5B 是因为它在 12GB 显卡上 LoRA 和 QLoRA 都能跑，适合你验证全流程。

#pip install transformers trl peft datasets bitsandbytes accelerate

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer, SFTConfig
from peft import LoraConfig
from datasets import Dataset

# ① 准备数据——Alpaca 格式：instruction（指令）+ output（回答）
data = [
    {"instruction": "我们公司的年假政策是什么？", "output": "入职满1年5天，满3年10天，满5年15天。"},
    {"instruction": "报销审批流程是什么？", "output": "提交申请→直属领导审批→财务审核→出纳打款。"},
    {"instruction": "请假需要提前多久申请？", "output": "事假需提前1天，病假需当天通知，年假需提前3天。"},
    # 实际使用时替换为你的领域数据，至少200条起步
]
# 转为对话格式
texts = [f"### 指令:\n{d['instruction']}\n\n### 回答:\n{d['output']}" for d in data]
dataset = Dataset.from_dict({"text": texts})

# ② 加载基座模型和分词器
model_name = "Qwen/Qwen2.5-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
# QLoRA 模式：4-bit 量化加载（如果不用 QLoRA，去掉 quantization_config 即可）
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",        # QLoRA 的 NF4 量化
    bnb_4bit_compute_dtype=torch.bfloat16,  # 计算时反量化到 BF16
)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,    # 注释掉这行就是普通 LoRA
    device_map="auto",
)

# ③ 配置 LoRA
lora_config = LoraConfig(
    r=8,                               # 秩——大多数场景的默认起点
    lora_alpha=16,                     # 缩放因子，通常 = 2r
    lora_dropout=0.05,                 # 轻微 dropout 防过拟合
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],  # 标准配置
    task_type="CAUSAL_LM",
)

# ④ 训练配置
training_args = SFTConfig(
    output_dir="./output",
    num_train_epochs=3,                # 3 epoch 是稳妥起点
    per_device_train_batch_size=2,     # 小 batch 省显存
    gradient_accumulation_steps=4,     # 累积梯度——等效 batch_size=8
    learning_rate=2e-4,                # LoRA 学习率：1e-4 ~ 3e-4
    warmup_ratio=0.1,                  # 预热 10% 步数
    lr_scheduler_type="cosine",        # 余弦退火
    logging_steps=10,
    save_strategy="epoch",
    fp16=False,
    bf16=True,                         # 4090/A100 支持 BF16
)

# ⑤ 启动训练
trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    peft_config=lora_config,           # 把 LoRA 配置传进去
)
trainer.train()

# ⑥ 保存 LoRA 适配器（只有几 MB，不是整个模型）
trainer.model.save_pretrained("./my-lora")
print("LoRA 适配器已保存到 ./my-lora/")

运行这段代码，你会看到训练 loss 逐步下降，最终在 ./my-lora/ 目录下生成一个 adapter_model.safetensors 文件——它就是你的 LoRA 适配器，通常只有几 MB 到几十 MB。

加载数据的两种主流格式：

Alpaca 格式（单轮问答）：

{"instruction": "解释什么是 RESTful API", "input": "", "output": "RESTful API 是遵循 REST 架构风格的 API 设计……"}

ShareGPT 格式（多轮对话）：

{"messages": [{"role": "user", "content": "我们的年假怎么算？"}, {"role": "assistant", "content": "入职满1年5天……"}]}

你的数据不需要标注完美的 JSON——SFTTrainer 会处理格式化。但数据质量是微调成败的决定性因素，这一点后面踩坑章节会展开。

---

七、三个真坑：每个坑都让你白跑一晚上

坑一：训练集 99%，一上线全错——过拟合

场景：你用 500 条客服 QA 数据，LoRA 微调了 10 个 epoch。训练集 loss 一路下降到 0.01，准确率 99%。你信心满满地部署上线，结果用户一问"年假怎么算"，模型回答得像模像样；再问"能不能跨年休"，直接胡说八道。

根因：经典的过拟合。数据量小 + epoch 太多 = 模型把 500 条答案全背下来了，但没有学到泛化规律。就像一个学生把考试题答案都背了但没理解原理——换个问法就露馅。

解法：三招组合拳。

# 招式一：留出验证集，监控验证 loss
# 数据至少按 9:1 切分 train/val
train_size = int(len(data) * 0.9)
train_data, val_data = data[:train_size], data[train_size:]

# 招式二：早停（Early Stopping）——验证 loss 连续 N 步不降就停
from transformers import EarlyStoppingCallback
callbacks = [EarlyStoppingCallback(early_stopping_patience=3)]

# 招式三：加 dropout 和减少 epoch
lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    lora_dropout=0.1,           # 从 0.05 调到 0.1，增强抗过拟合
    target_modules=["q_proj", "v_proj"],  # 减少目标模块，降低参数量
)
training_args = SFTConfig(
    num_train_epochs=3,          # 从 10 降到 3，先看效果
    # ... 其他参数
)

经验：500 条数据，3 个 epoch 足够。1000 条数据，2-3 个 epoch。1 万条以上，1-2 个 epoch。微调不是 epoch 越多越好——在 LoRA 场景下，更多时候是越少越好。

坑二：微调后模型变"傻"了——灾难性遗忘

场景：你用医疗问答数据微调 Qwen-7B。微调后它确实能回答医疗问题了，但你问它"帮我写个 Python 函数"，它开始输出医疗内容；问它"1+1 等于几"，它说"建议咨询医生"。

根因：灾难性遗忘（Catastrophic Forgetting）。模型在学习新领域数据时，过度调整了权重，把预训练阶段学到的通用能力"覆盖"了。这个概念最早在 1989 年就被提出，在深度学习里一直是顽疾。

全参数微调的灾难性遗忘比 LoRA 严重得多——因为 Full FT 改的是所有参数，通用能力"无差别被覆盖"。LoRA 天然有保护作用：原始权重被冻结，通用知识"锁"在冻结的参数里。但如果你的学习率太高或 LoRA 的 rank 太大，增量 ΔW 过于激进，仍然会影响通用能力。

解法：

# 方法一：降低学习率——LoRA 推荐 1e-4 ~ 3e-4，不宜更高
learning_rate = 2e-4    # 不要超过 5e-4

# 方法二：在训练数据中混入通用数据（数据混合策略）
# 比如你的 1000 条医疗数据里，混入 20% 的通用对话数据
# 这样模型在学医疗的同时，被"提醒"不要忘记通用能力

# 方法三：降低 rank——r=8 比 r=64 更不容易遗忘
# r 越大，可修改的参数空间越大，覆盖通用知识的可能性也越大

一个检测方法：微调后拿几个通用基准题（常识问题、代码题、数学题）测一测。如果通用能力明显下降，就是遗忘的信号。

坑三：数据格式不对，训了个寂寞

场景：你准备了 2000 条高质量的客服问答数据，训练了 3 小时，loss 正常下降。部署后发现模型完全不按你的格式回答——问它问题，它输出一堆乱码或重复文本。

根因：数据格式和基座模型的对话模板不匹配。不同模型的 tokenizer 有不同的"对话模板"（chat template），你的数据格式如果对不上这个模板，模型学到的是错误的 token 序列。

解法：一定要用基座模型原生支持的格式。

# 检查模型支持什么对话模板
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B")
# Qwen 系列用 ChatML 格式
# 查看模板
print(tokenizer.chat_template)

# 正确做法：用 tokenizer.apply_chat_template 格式化数据
messages = [
    {"role": "user", "content": "我们公司的年假政策是什么？"},
    {"role": "assistant", "content": "入职满1年5天，满3年10天……"},
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=False)
# 这样生成的 text 才是模型认识的格式

经验：数据格式不是"差不多就行"。一个多余的换行符、一个中英文标点混用、一个 role 字段名写错（“assistant” 写成 “Assistant”），都可能让训练效果大打折扣。格式化后肉眼抽查几条，确认看起来正常。

---

八、微调 vs RAG vs 提示工程：到底该选哪个

这是被问得最多的问题。用一张表说清楚。

维度	提示工程	RAG	微调
解决什么	怎么问	给什么参考	改模型行为
改了什么	不改	不改模型，加外挂知识	改模型权重
成本	几乎为零	中等（向量库+检索）	高（GPU+数据标注）
时效性	实时	实时（更新知识库即可）	差（改数据要重训）
擅长	格式控制、简单引导	知识密集型问答	风格/领域表达/格式
不擅长	注入新知识	改变输出风格	最新事实更新
见过的最高标准	结构化提示	95% 时效性	91% 风格一致性

什么时候该微调

• 需要模型输出特定格式（公司报表模板、法律文书格式）
• 需要模型说行业行话（医疗术语、金融黑话、公司内部缩写）
• 需要模型有固定人格或语气（客服语气、品牌调性）
• 推理时不能容忍额外延迟（边缘部署、高并发场景）
• 已经试过 RAG + 提示工程，效果仍然不够

什么时候不该微调

• 你的需求是"让模型知道新知识"——用 RAG
• 你的需求是"让模型按格式输出"——先试提示工程
• 数据不到 100 条——太少，微不起来
• 知识会频繁更新——微调一次几小时，RAG 更新知识库只要几秒

一个常见误区：很多人把"模型不知道我们公司的知识"当作微调的理由。但微调注入知识的效率远不如 RAG——因为微调是通过梯度更新权重来"间接"记住知识，而 RAG 是直接把文档喂给模型。知识的准确性和更新频率上，RAG 完胜。微调真正的价值在"怎么说话"而非"知道什么"。

可以组合使用

它们不是互斥的。实际项目中最常见的高效组合是：微调改变风格和格式 + RAG 注入实时知识。微调后的模型负责"怎么说"，RAG 负责"说什么"。

---

九、LoRA 家族进化：2024-2026 的新进展

LoRA 自 2021 年提出以来，学术界一直在改进。这几个变种值得你了解——不是说你要全用上，而是知道它们解决了什么问题，在遇到该问题时知道有解。

9.1 DoRA（Weight-Decomposed LoRA，ICML 2024）

DoRA 把权重矩阵分解为幅度（magnitude）和方向（direction）两部分。原始 LoRA 只调整方向，DoRA 额外让幅度也可学习。效果：更接近 Full FT 的学习能力，在多个基准上超过了原始 LoRA。

9.2 AdaLoRA（Adaptive LoRA）

原始 LoRA 的 rank r 是全局固定的——所有层用同一个 r。AdaLoRA 让模型自动决定每层的 rank：重要的层分配更高的 rank，不重要的层降低 rank。效果是在总参数量相同的情况下精度更高。

9.3 rsLoRA（Rank-Stabilized LoRA）

解决了"大 rank 时训练不稳定"的问题。通过调整初始化方差，使得不同 rank 的 LoRA 输出方差保持一致。如果你想用 r=64 或更高的 rank，rsLoRA 几乎是必须的。

9.4 LoRA+（LoRA Plus）

原始 LoRA 的矩阵 A 和 B 用相同的学习率。LoRA+ 发现这其实是次优的——因为 A 随机初始化、B 初始化为零，两者的梯度传播路径不同，应该使用不同的学习率（实验证明 B 矩阵应该用更大的学习率）。分开设置学习率后能加速收敛并提升最终精度。

实践建议：2026 年如果你用 HuggingFace PEFT 库，LoraConfig 里已经集成了 use_rslora=True 和 use_dora=True 开关。不确定选哪个就先用原始 LoRA——它仍然是工程上最成熟、文档最丰富、兼容性最好的选择。

---

十、成本实战：微调一次到底花多少钱

10.1 云 GPU 租用价格（2026 年市场行情）

显卡	显存	按小时租用	包天价格	适合
RTX 4090	24 GB	¥2-4/h	¥30-60/day	7B QLoRA/LoRA
A100 40GB	40 GB	¥6-8/h	¥100-150/day	13B LoRA
A100 80GB	80 GB	¥8-12/h	¥150-250/day	33B QLoRA
H100 80GB	80 GB	¥15-25/h	¥300-500/day	70B QLoRA

10.2 典型成本估算

以微调 Qwen2.5-7B 为例（QLoRA，RTX 4090，1000 条数据，3 个 epoch）：

项目	耗时	成本
数据准备	2-3 小时（人工）	你的时间
模型下载	~10 分钟	¥0.5
训练	~1-2 小时	¥3-8
总计	半天内	不到 10 元

以微调 Qwen2.5-14B 为例（LoRA，A100 40GB，5000 条数据，3 个 epoch）：

| 项目 | 耗时 | 成本 |
|:—|:—|
| 模型下载 | ~20 分钟 | ¥2 |
| 训练 | ~4-6 小时 | ¥30-50 |
| 总计 | 一天内 | 不到 60 元 |

微调的门槛已经低到什么程度？一杯咖啡的钱，就能跑一个属于自己的微调实验。这也是为什么 2026 年 LoRA 微调已经成为中小团队的日常操作。

---

经验清单：5 条带走

① 微调改的是“怎么说话”，不是“知道什么”。 别用微调注入新知识——那是 RAG 的活。微调的真正价值在风格、格式、领域表达方式。用对场景，事半功倍；用错场景，白花算力。

② 95% 的场景选 LoRA，显存不够再上 QLoRA。 Full FT 留给有 A100 集群的大厂。LoRA 用 1% 的参数达到 90% 的效果，是性价比之王。RTX 4090 能覆盖到 7B LoRA 和 33B QLoRA，覆盖了绝大多数实际需求。

③ 数据质量 > 数据数量。 200 条精标注的高质量数据，效果远好于 2000 条低质量数据。每条数据检查：指令清晰吗？回答准确吗？格式统一吗？有错别字吗？数据准备是最花时间但也最值得花时间的环节。

④ r=8、α=16、lr=2e-4、3 epoch——先跑这组默认参数。 不要一上来就调 20 个超参数。用这组默认值跑一个基线，再根据验证集 loss 逐个调。LoRA 的超参数不多，但每个都有显著影响，一次只改一个。

⑤ 微调后一定测通用能力。 灾难性遗忘是无声的杀手——模型在你的领域数据上表现完美，但通用能力可能已经崩了。上线前拿几个常识题、代码题、数学题测一遍。如果通用能力明显下降，降低学习率或减少 epoch。

---

下篇预告

下一篇《大模型实战指南（7）——推理优化：让 70B 模型跑在你的笔记本上》。

模型微调完了，但上线又卡在了推理成本上。一个 70B 模型推理一次要十几秒，一张 A100 一天烧几百块——中小企业怎么扛？

我们将拆解 KV Cache、推理量化（INT8/INT4/AWQ/GPTQ）、投机解码、推理框架（vLLM/llama.cpp/Ollama）的选择，让你在消费级硬件上跑起生产级推理。

---

数据来源声明

本文所有事实性数据均来自以下公开来源，已在写作前完成交叉核实：

• LoRA 原始论文 Edward Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models”, arXiv:2106.09685, 2021——GPT-3 175B 参数减少 10000 倍、显存降低 3 倍
• QLoRA 原始论文 Tim Dettmers et al., “QLoRA: Efficient Finetuning of Quantized LLMs”, arXiv:2305.14314, NeurIPS 2023——65B 模型 48GB GPU 微调、Guanaco 达 ChatGPT 99.3% 性能、NF4/双重量化/分页优化器三大创新
• HuggingFace PEFT 文档——LoRA 配置参数、target_modules 选择、rsLoRA/DoRA 集成
• HuggingFace TRL 文档——SFTTrainer 用法、SFTConfig 参数
• 知乎/腾讯云/百度智能云多篇技术文章（2025-2026）——显存计算公式、LoRA 超参数推荐、target_modules 选择策略
• CSDN 多篇实战教程（2025-2026）——QLoRA 实战、LoRA 十大避坑、数据格式要求、过拟合治理
• ICLR 2025 SD-LoRA 论文——灾难性遗忘研究
• ICML 2024 DoRA 论文——权重分解低秩自适应
• 腾讯云《LoRA 的遗忘曲线 vs RAG 的多跳衰减》（2026.6）——Fine-tuning vs RAG 数据对比
• 阿里云/一品威客 GPU 租用价格调研（2026）——云 GPU 市场行情

以上数据截至 2026 年 8 月 24 日。大模型领域迭代极快，部分数据（模型版本、基准成绩、定价等）可能在阅读时已有更新。