2月2日晚，CCF-Talk 举办了主题为“夜话DeepSeek：技术原理与未来方向“的线上研讨会。清华大学长聘副教授、面壁智能首席科学家刘知远老师作为主讲嘉宾之一，为大家带来了关于“大模型强化学习技术原理与大模型技术发展研判”的精彩演讲。

在圆桌环节，还围绕业界热点话题做了探讨：如何复现o1大推理模型？DeepSeek R1技术路线和训练流程有哪些亮点？为什么DeepSeek能做到轰动全球？DeepSeek 通过哪些优化策略有效降低成本？DeepSeek 的写作能力为何飞跃？MoE 架构会是最优解吗？PTX 是否真正做到了绕开 CUDA 的垄断？

刘知远表示，OpenAI o1 相当于引爆了一颗原子弹，但没有告诉大家秘方。DeepSeek 则可能是全球首个能够通过纯粹的强化学习技术复现 OpenAI o1 能力的团队，他们通过开源并发布相对详细的介绍，为行业发展做出了重要贡献。由于开源，DeepSeek R1 让全世界意识到深度思考的能力，相当于让整个人工智能领域迎来了类似于 2023 年初的 ChatGPT 时刻。大家感受到大模型的能力又往前迈进了一大步。我们应该学习的是他们的技术理想、坚持与方法论。

*以下内容在不改变原意的情况下做转录

主题演讲环节

今天我将从宏观角度为大家介绍 DeepSeek R1 所代表的大规模强化学习技术，及其基本原理。同时，我们也会探讨为什么 DeepSeek R1 和 OpenAI o1 能够引起如此多的关注，并从 Deepseek 最近发布的模型中，对大模型技术的未来发展进行大致研判。

首先，我们来看 DeepSeek 最近发布的 R1 模型，它具有非常重要的价值。这种价值主要体现在 DeepSeek R1 能够完美复现 OpenAI o1 的深度推理能力。

因为 OpenAI o1 本身并没有提供关于其实现细节的任何信息，OpenAI o1 相当于引爆了一个原子弹，但没有告诉大家秘方。而我们需要从头开始，自己去寻找如何复现这种能力的方法。DeepSeek 可能是全球首个能够通过纯粹的强化学习技术复现 OpenAI o1 能力的团队，并且他们通过开源并发布相对详细的介绍，为行业做出了重要贡献。

我们大致总结了 DeepSeek R1 的整个训练流程，它有两个非常重要的亮点或价值。**首先，DeepSeek R1 创造性地基于 DeepSeek V3 基座模型，通过大规模强化学习技术，得到了一个纯粹通过强化学习增强的强推理模型，即 DeepSeek-R1-Zero。**这具有非常重要的价值，因为在历史上几乎没有团队能够成功地将强化学习技术很好地应用于大规模模型上，并实现大规模训练。DeepSeek 能够实现大规模强化学习的一个重要技术特点是其采用了基于规则（rule-based）的方法，确保强化学习可以规模化，并实现面向强化学习的扩展（Scaling），这是它的第一个贡献。

**DeepSeek R1 的第二个重要贡献在于其强化学习技术不仅局限于数学、算法代码等容易提供奖励信号的领域，还能创造性地将强化学习带来的强推理能力泛化到其他领域。**这也是用户在实际使用 DeepSeek R1 进行写作等任务时，能够感受到其强大的深度思考能力的原因。

这种泛化能力的实现分为两个阶段。首先，基于 DeepSeek V3 基座模型，通过增强推理过程的可读性，生成了带有深度推理能力的 SFT（Supervised Fine-Tuning，监督微调）数据。这种数据结合了深度推理能力和传统通用 SFT 数据，用于微调大模型。随后，进一步通过强化学习训练，得到了具有强大泛化能力的强推理模型，即 DeepSeek R1。

因此，DeepSeek R1 的重要贡献体现在两个方面：一是通过规则驱动的方法实现了大规模强化学习；二是通过深度推理 SFT 数据与通用 SFT 数据的混合微调，实现了推理能力的跨任务泛化。这使得 DeepSeek R1 能够成功复现 OpenAI o1 的推理水平。

所以，我们其实应该非常重视 DeepSeek R1。它由于开源，让全球的人能够意识到深度思考的能力，这相当于让整个人工智能领域再次迎来了类似于 2023 年初 ChatGPT 的时刻，让每个人感受到大模型的能力又往前迈进了一大步。但同时，我们也需要合理地评估 DeepSeek 本身的重要意义。

如果说 2023年 初 OpenAI 发布的 ChatGPT 让全球看到了大模型非常重要的价值，那么这一次的强推理能力其实也是 OpenAI 在 2024年 9月 发布的 o1 率先实现的。而 DeepSeek R1，我们认为它在历史上更像是 2023 年 Meta 的 LLaMA。它能够通过开源复现，并且把这些事情全部公开给全球，让大家能够快速地建立起相关能力，这是我们对 DeepSeek R1 及其重要意义的一个准确认识。

**当然，为什么说 DeepSeek R1 能够取得如此全球性的成功呢？**我们认为这与 OpenAI 采用的一些策略有非常大的关系。OpenAI 在发布 o1 之后，首先选择不开源，其次将 o1 深度思考的过程隐藏起来，第三是 o1 本身采用了非常高的收费。这使得 o1 无法在全球范围内让尽可能多的人普惠地感受到深度思考所带来的震撼。而 DeepSeek R1 则像 2023 年初 OpenAI 的 ChatGPT 一样，让所有人真正感受到了这种震撼，这是 DeepSeek R1 出圈的非常重要的原因。

如果我们进一步将 DeepSeek 发布的 R1 和之前的 V3 结合起来考虑，那么它的意义在于：在非常有限的算力资源支持下，通过强大的算法创新，突破了算力“卡脖子”的限制，让我们看到即使在有限的算力下，也能做出具有全球意义的领先成果。

这件事对中国 AI 的发展具有非常重要的意义。当然，我们也应该看到，AI 如果想要真正赋能全人类，让每个人都能够用得上、用得起大模型和通用人工智能，那么高效性显然是一个非常重要的命题。

而在这个方面，我们其实有非常多的话题可以去讨论。除了刚才我和邱锡鹏老师提到的强化学习本身需要在未来探索更加高效的方案之外，我们还需要研究出更加高效的模型架构。例如，V3 所采用的 MoE 架构，未来应该也会有许多其他相关的高效架构方案。进一步地，戴国浩和翟季冬老师稍后也会介绍高效的算力应用等话题。

这其实也是 DeepSeek V3 和 R1 带给我们的另一个非常重要的启示。我们也会认为，整个人工智能的发展在未来追求高效性是我们内在的一个使命和需求。

从这个方面，我想适当展开一点来介绍。我们会看到上一次所谓的科技革命，也就是信息革命，其非常重要的内核实际上是计算芯片的发展。在过去 80 年时间里，计算机从最初需要一个屋子才能装得下的规模，发展到如今每个人手边都有的手机、PC，以及各种各样的计算设备，都可以在非常小的设备上完成非常强大的计算能力。

**所有这一切，其实都源于芯片行业在摩尔定律的指引下，不断推进芯片制程，提升芯片电路密度，从而实现计算设备的小型化和普惠化，推动算力的普及。**这显然是我们未来追求高效性的一个非常重要的内在需求。

**这也是为什么我们在去年特别强调要发展大模型的能力密度。**实际上，过去几年我们也能看到类似摩尔定律的现象：大模型的能力密度正以时间的指数级增强。从2023 年以来，大模型的能力密度大约每 100 天翻一倍，也就是说，每过 100 天，我们只需要一半的算力和一半的参数就能实现相同的能力。

因此，我们相信，面向未来，我们应该不断追求更高的能力密度，努力以更低的成本——包括训练成本和计算成本——来实现大模型的高效发展。

从这一点来看，我们显然可以看到，如果按照能力密度的发展趋势，我们完全可以实现每 100 天用一半的算力和一半的参数，达到相同的模型能力。而推动这件事情，应当是我们未来发展的使命。

所以，如果我们对标上一个科技革命——也就是信息革命，显然对我们即将到来的智能革命有着非常重要的启示。实际上，在信息革命刚刚开始的时候，IBM 的创始人沃森曾认为，世界上不需要超过五台主机就可以满足全世界的计算需求。但到了今天，我们可以看到全球有数十亿、上百亿的计算设备在服务于全人类的社会。

因此，我们认为智能革命显然也要走过一条类似于信息革命的阶段，不断去提高能力密度，降低计算成本，让大模型得以更加普惠。

所以，我们会认为AI时代的这些核心引擎，包括电力、算力以及大模型所代表的智力，这种密度定律应该是普遍存在的。我们需要不断地通过高质量、可持续的方式去实现大模型的普惠，这应该是我们未来的发展方向。

面向未来，我们认为人工智能有三大主战场，它们的目标都是让通用人工智能达到顶尖水平。首先，我们要探索人工智能的科学化技术方案，实现更科学、更高效的人工智能实现方式。其次，我们要实现计算系统的智能化，能够在计算层面以更低的成本、更通用地将大模型应用于各个领域。最后，我们也要在各个领域探索人工智能的广谱化应用。

最后，我想特别强调的是，DeepSeek 给我们带来了一个非常重要的启示：它让我们看到，即使用小米加步枪，我们依然能够取得非常广阔的胜利。我们即将迎来一个非常重要且意义深远的智能革命时代，它的高潮即将到来，这是可望且可及的。

DeepSeek 的成功吸引了更多人关注这一方向和领域，我希望我们能够沿着正确的方向发展，不仅仅关注算力，更要重视算法的创新以及高水平人才的培养。让我们共同努力，走出一条真正属于人工智能的高质量发展路线。

---

---

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓