😊你好，我是小航，一个正在变秃、变强的文艺倾年。
🔔本文讲解【强化学习】思维链 CoT，20W字总结（十四），期待与你一同探索、学习、进步，一起卷起来叭！

🎯 把我的博客装进你的 Claude Code，它就是你的 AI 学习搭子

想随时搜我的文章、让 AI 帮你深度讲解甚至出面试题？复制下面这段提示词丢进你的 Claude Code——它会自动生成一个本地 SKILL，之后你直接说「搜一下强化学习的文章」就行。RSS 自动同步最新内容，不用手动存任何文件。

请为这个 CSDN 博客创建一个本地 SKILL（存到 .claude/skills/csdn-blog/SKILL.md）：
RSS 源：https://rss.csdn.net/m0_51517236/rss/map
支持三件事：① 列出最新文章（标题+链接+摘要）；② 按关键词搜索；
③ 抓取指定文章全文，作为 AI 学习助手 / 面试官深度讲解并出题考核我。
SKILL.md 里写清楚 RSS URL、调用方式和示例。生成完就能用自然语言搜文章了。

一键订阅，长期可用。🚀

---

进入番外篇。前面十三篇我们讲了强化学习的算法主线——从策略梯度到 PPO、DPO、GRPO。这篇换个视角：怎么让大模型学会"推理"。DeepSeek-R1 推理能力为什么那么强？思维链（Chain of Thoughts，CoT）又是什么？这篇把构建推理模型的四大主流方法一次讲清楚。

什么是推理模型

先把"推理"说清楚。这里说的推理，指解答那些需要多步骤、含中间过程的复杂问题——比如数学推导、解谜、复杂编程。

“法国首都是哪？”——这是事实问答，不算推理。
“一列火车 60 英里/小时开 3 小时走多远？”——这是推理（要先想到"距离 = 速度 × 时间"）。

所谓推理模型，就是专门优化来处理这类复杂推理任务的 LLM（如 DeepSeek-R1、OpenAI o1）。它们的回答里常带"思考过程"，中间推理步骤有两种呈现方式：直接写在回答里（用户能看到），或在内部多轮迭代但不展示（像 o1）。

推理模型也不是万能的——它在简单任务上反而可能因"过度思考"出错、更贵更慢：

擅长	不擅长
演绎/归纳推理（谜题、证明）	快速粗略的回答
思维链式推理（分解多步问题）	基于知识的任务（易幻觉）
复杂决策	简单任务（过度思考）

DeepSeek R1 训练流程概览

讲方法前，先看 DeepSeek-R1 这个标杆。它其实不是一个模型，而是三个变体：

• DeepSeek-R1-Zero：基于 DeepSeek-V3（671B），纯强化学习训练，没有 SFT（冷启动）
• DeepSeek-R1：在 R1-Zero 基础上加 SFT + 再 RL（主力模型）
• DeepSeek-R1-Distill：用 R1 生成的数据蒸馏出小模型（Qwen、Llama）

理解了这个流程，下面四大方法就串起来了。

构建推理模型的四大方法

方法一：推理时间扩展（不用训练）

最省事——不改模型，只在推理时多花算力。典型手段就是思维链（CoT）提示：在 prompt 里加一句"一步步思考（think step by step）"，让模型先输出中间推理步骤，再给答案。

CoT 本质是推理时间扩展——生成更多 token = 更多"思考"计算。还有投票法（生成多个答案取多数）、束搜索等。

DeepSeek-R1 报告说没用推理时间扩展（但应用层可能用了）。我怀疑 OpenAI o1 / o3 主要靠这个——这也解释了为什么它们比 GPT-4o 贵。

方法二：纯强化学习（推理能力涌现）

这是 DeepSeek-R1-Zero 最震撼的发现：不经过任何 SFT，纯靠 RL，推理能力就能自发涌现。

奖励用两种（都不依赖人类偏好）：

• 准确性奖励：数学答案用确定性系统判对错，代码用 LeetCode 编译器验证
• 格式奖励：让模型把推理步骤放进 <think> 标签

令人惊叹的是，训练中出现了 “Aha 时刻”——模型突然自己开始生成推理过程，没人教它。这证明：推理可以作为一种行为，从纯 RL 中涌现。DeepSeek 是首个公开展示这一点的团队。

方法三：SFT + 强化学习（R1 的蓝图）

主力模型 DeepSeek-R1 走的是这条路，也是业界构建推理模型的标准蓝图：

1. 用 R1-Zero 生成"冷启动" SFT 数据
2. 拿这些数据做指令微调（SFT）
3. 再来一轮 RL（沿用准确性+格式奖励，加一致性奖励防语言混杂）
4. 用最新 checkpoint 再生成 80 万条 SFT 数据（60 万 CoT + 20 万知识）
5. 最后一轮 RL（数学/代码用规则奖励，其他用人类偏好奖励）

OpenAI o1 很可能也是 SFT+RL 这条路。R1 比 R1-Zero 强，正是因为多了 SFT 阶段。

方法四：纯 SFT / 蒸馏（小模型专用）

DeepSeek 还用 R1 的数据蒸馏了一批小模型（Llama 8B/70B、Qwen 1.5B~32B）——其实就是拿 R1 生成的 SFT 数据对小模型做指令微调（不是传统的 logits 蒸馏）。

一个关键结论：在小模型上，蒸馏远比纯 RL 有效。实验把 R1-Zero 的纯 RL 方法直接用在 Qwen-32B 上，效果不如蒸馏。说明——小模型靠高质量推理数据做 SFT，比硬训 RL 更划算。

小结：四大方法怎么选

方法	要不要训练	适用	代表
推理时间扩展	不用	强模型再提一波	o1/o3（猜）
纯 RL	要（无 SFT）	研究涌现	R1-Zero
SFT + RL	要	构建强推理模型	R1（蓝图）
蒸馏（纯 SFT）	要（用大模型数据）	造小模型	R1-Distill

一句话记：强模型靠 SFT+RL（R1 蓝图），小模型靠蒸馏，CoT 提示是零成本提速。最值得期待的组合，是 SFT+RL 再叠加推理时间扩展——这大概就是 o1 在做的事。

DeepSeek-R1 把技术报告和模型权重都开源了（MIT 协议），是开放推理模型的一座里程碑。下一篇番外，我们补数学推导专题（策略梯度证明、GAE、PPO 推导、KL 散度等）。

---

📌 [ 笔者 ] 文艺倾年
📃 [ 更新 ] 2026.06.14
❌ [ 勘误 ] /* 暂无 */
📜 [ 声明 ] 由于作者水平有限，本文有错误和不准确之处在所难免，
本人也很想知道这些错误，恳望读者批评指正！