**DeepSeek****推出了第一代推理模型——****DeepSeek-R1-Zero和DeepSeek-R1，**通过强化学习激励大型语言模型（LLMs）的推理能力。

**
DeepSeek-R1-Zero是一个未经监督微调（SFT）这一初步步骤，直接通过大规模强化学习（RL）训练的模型。通过强化学习，DeepSeek-R1-Zero自然地展现出众多强大且引人入胜的推理行为。然而，它也面临着可读性差和语言混杂等挑战。**

为了解决这些问题并进一步提升推理性能，DeepSeek推出了DeepSeek-R1，该模型在强化学习之前加入了多阶段训练和冷启动数据。DeepSeek-R1在推理任务上的性能可与OpenAI-o1-1217****相媲美。

为了支持研究界，DeepSeek开源了DeepSeek-R1-Zero、DeepSeek-R1，以及基于Qwen和Llama从DeepSeek-R1中提炼出的六个密集模型（15亿、70亿、80亿、140亿、320亿、700亿参数）。

一、有监督微调（SFT）

有监督微调（Supervised Fine-Tuning，SFT）是什么？有监督微调是指在已经训练好的大型语言模型（如GPT、Llama等）基础上，通过使用有标注的特定任务数据进行进一步的训练，从而使模型具备在特定任务或领域上表现更好的能力**。这种技术通常涉及对模型权重的微调，以最小化任务特定的损失函数。**

有监督微调（SFT）的核心在于利用有限的标注数据，对预训练模型进行精细化调整。预训练模型通常是在大规模无监督数据集上训练的，已经掌握了语言的基本结构和知识。通过引入标注数据，模型可以针对特定任务进行微调，学习如何在该任务上进行预测和推理。

******DeepSeek-R1为什么不使用有监督微调（SFT）********？DeepSeek-R1摒弃了传统的有监督微调作为初步步骤的做法，**旨在通过纯粹的强化学习（RL）来训练模型，以激发模型的自主学习能力。

这一理念认为，通过让模型在自主试错中学习正确的方法（即Self play），可以更符合人类的思维规则，同时提升模型的适应性和灵活性。

DeepSeek-R1通过强化学习提升了自主学习能力，无需依赖大量标注数据，从而实现了与有监督微调模型相媲美的推理性能，这一特性不仅降低了数据成本，还显著增强了模型的适应性。

二、强化学习（RL）

******强化学习（Reinforcement Learning, RL）******是什么？强化学习专注于探索模型如何通过与环境的互动，利用试错方式学习最优策略，旨在最大化累积奖励。

强化学习的核心在于模型（通常被称为智能体）会在环境中执行一系列动作，并根据这些动作所获得的奖励来不断优化其行为策略。在DeepSeek中，强化学习被用于提升模型的推理能力。

DeepSeek-R1********************为什么使用强化学习（RL）？DeepSeek-R1采用强化学习是为了提升推理能力并减少对监督数据的依赖，实现模型在复杂环境中的自我优化与进化。

DeepSeek-R1利用强化学习来训练模型，使其能够在特定任务环境中（如数字游戏、数学推理题等）通过不断尝试和反馈来学习如何改进策略，以获得更高的奖励。这个过程类似于人类的学习方式，即通过试错和经验积累来逐渐掌握技能********。****

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓