快速上手DeepSeek GRPO算法，一文带你入门

引言强化学习（Reinforcement Learning, RL）已成为在大型语言模型（Large Language Models, LLMs）初始训练后增强其能力的有力工具，尤其是在推理密集型任务中。DeepSeek最近在DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型上的突破，展示了RL在提升LLMs数学推理和问题解决能力方面的巨大潜力。这些成就得益于一种创新的R

Python编程杰哥

1419人浏览 · 2025-02-23 10:45:00

Python编程杰哥 · 2025-02-23 10:45:00 发布

引言

强化学习（Reinforcement Learning, RL）已成为在大型语言模型（Large Language Models, LLMs）初始训练后增强其能力的有力工具，尤其是在推理密集型任务中。DeepSeek最近在DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型上的突破，展示了RL在提升LLMs数学推理和问题解决能力方面的巨大潜力。

这些成就得益于一种创新的RL方法——组相对策略优化（Group Relative Policy Optimization, GRPO），它解决了将RL应用于语言模型的独特挑战。在本文中，我们将深入探讨GRPO的工作原理，以及为什么它代表了LLM训练的重大进展。

PPO vs GRPO

在这里插入图片描述

PPO目标函数

近端策略优化（Proximal Policy Optimization, PPO）[1] 一直是语言模型RL微调的首选算法。PPO的核心是一种策略梯度方法，通过裁剪来限制策略更新（梯度），防止破坏性的大规模策略变化。PPO的目标函数可以表示为：

在这里插入图片描述

PPO的目标函数

GRPO —— 首次在[2]中提出 —— 在PPO的基础上进行了改进，引入了几个关键创新，使其更高效且更适合语言模型：

消除了对价值网络的需求，从而减少了内存和计算资源的使用。
使用组采样，以实现更高效和稳定的优势估计。
通过进一步惩罚目标和奖励，使用更保守的更新机制。

GRPO：深入解析

在这里插入图片描述

grpo

LLM作为策略

在GRPO中，语言模型充当策略网络（actor），将问题 ( q ) 作为输入观察 ( s )，并生成一系列token作为动作。策略分布按token分解：

在这里插入图片描述

策略分布

注意：在原始论文[2]中，他们使用 ( o_t ) 表示时间步 ( t ) 的输出token，而我们使用 ( a_t ) 以符合RL标准符号中的动作。

顺序token生成

由于Transformer/LLMs的自回归特性，生成过程本质上是顺序的：

每个token的生成都依赖于之前的token。
策略网络（LLM）维护一个运行的上下文。
每个token生成步骤可以视为RL框架中的一个动作 ( a_t )。

奖励与优势计算

对于每个生成的序列，GRPO按如下方式计算每个token的奖励：

在这里插入图片描述

奖励计算

GRPO不使用价值网络，而是通过归一化从同一问题的参考策略生成的多个不同输出的奖励组来估计基线优势 ( A )：

在这里插入图片描述

优势估计

GRPO目标

对于每个问题 ( q )，GRPO从旧策略 ( \pi_{\theta_{old}} ) 中采样一组输出 ( {o_1, o_2, \cdots, o_G} )，然后通过最大化GRPO目标来优化策略模型。完整的GRPO目标将所有内容结合在一起：

在这里插入图片描述

GRPO目标

该目标：

在组和序列长度上进行平均。
使用裁剪以实现保守更新。
包括KL散度的估计作为惩罚项，以防止与参考模型的过大偏差。

结论

GRPO代表了将RL应用于语言模型的重大进展。通过消除对价值网络的需求并引入组相对优势估计，它提供了更高效和稳定的训练过程。DeepSeek-Math和DeepSeek-R1的成功证明了这种方法的实际优势。

GRPO的关键创新 —— 组采样、相对优势估计以及消除价值网络 —— 为未来LLM训练的发展提供了蓝图。随着我们不断突破语言模型的能力边界，像GRPO这样的技术将在释放其全部潜力方面发挥关键作用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述