前言

人们普遍认为Scaling Law（缩放定律）是一种通向 AGI 的可能的路径，即持续扩大数据规模和模型规模可以显著提升模型的智能水平。然而，无论是密集模型还是专家混合（MoE）模型，研究和工业界在有效扩展极大规模模型方面的经验有限。

关于这一扩展过程的许多关键细节，直到最近发布的DeepSeek V3、R1模型才得以披露，让大家了解到超大规模 MoE 模型的效果及实现方法（强化学习和知识蒸馏）。

与此同时，阿里通义千问团队正在研发超大规模的 MoE 模型 Qwen2.5-Max，一个经过超过20万亿个标记的预训练，并进一步通过精心策划的监督微调（SFT）和基于人类反馈的强化学习（RLHF）方法进行后训练的大规模MoE模型。

Qwen2.5-Max全面拥抱DeepSeek技术路线。

一、稠密模型 or MoE模型

稠密模型（Dense）和混合专家模型（MoE）是什么？Dense模型（即稠密模型）和Mixture of Experts（MoE，混合专家模型）是深度学习领域中两种具有显著区别的网络架构**。**

Dense模型是每一层都与前面所有层直接相连，这种设计有助于更有效地利用特征，减少参数数量，并促进梯度的传播，从而缓解梯度消失或爆炸的问题。

而MoE模型是一种混合专家模型，它将输入分配给一组专家网络，然后通过门控网络来决定每个输入应该由哪些专家处理。

Qwen2.5-Max为什么放弃Dense选择MoE？MoE模型通过多个专家子模型的协同工作**，实现高效处理特定任务，同时智能选择相关专家模型来处理输入数据，优化计算资源使用，提高整体效率和效果。**

• 专家协同工作：MoE模型通过多个“专家”子模型协同工作，能够更有效地处理特定任务。这种分工合作的方式类似于一个团队中各个专家各司其职，共同完成复杂的项目，从而提高了整体效率和效果。
• 智能选择专家：MoE架构能够智能选择适当的“专家”模型来处理输入数据，从而优化计算资源的使用。这意味着在处理不同任务时，只有相关的专家子模型会被激活，降低了不必要的计算开销。

大模型厂商相继放弃Dense选择MoE，这就像当年移动互联网时代，选择水平复制的微服务架构，而不是继续垂直扩展单机性能。

在基座模型的对比中，将Qwen2.5-Max与领先的开源MoE模型DeepSeek V3、最大的开源稠密模型Llama-3.1-405B及开源稠密模型前列的Qwen2.5-72B进行了对比。结果显示，MoE模型（如Qwen2.5-Max和DeepSeek V3）得分高于Dense模型（如Llama-3.1-405B和Qwen2.5-72B），具体对比结果如下图所示。

二、预训练和后训练

Qwen2.5-Max如何进行预训练和后训练**？**Qwen2.5-Max通过超过20万亿个标记的预训练数据，结合精心策划的监督微调（SFT）和基于人类反馈的强化学习（RLHF）方法，实现了高效的预训练和后训练。

1. 监督微调（SFT）：通过使用大量的人工标注数据对预训练模型进行微调的过程。
2. **基于人类反馈的强化学习（RLHF）：通过收集人类对模型输出的反馈，并使用强化学习算法对模型进行优化。**Qwen2.5-Max结合了多阶段强化学习，包括离线学习DPO和在线学习GRPO。

Qwen2.5-Max为什么拥抱DeepSeek技术路线？ 尽管Qwen2.5-Max的预训练及后训练流程与OpenAI相似，均基于大规模数据、先进架构及监督、强化学习，但其独特之处在于采用优化的GRPO强化学习算法，并通过知识蒸馏替代大规模SFT进行后训练， 这些策略与DeepSeek在提升模型性能与效率上的探索相契合，因此被视为拥抱DeepSeek技术路线。

1. GRPO（群组相对策略优化）： 通过组内相对奖励来优化模型，而不需要****额外的价值模型（critic model） 。在传统的强化学习中，模型（称为“策略模型”）会根据环境给出的奖励信号来调整自己的行为，这通常涉及一个额外的模型（称为“价值模型”）来评估当前策略的好坏。 GRPO简化了这个过程，它不需要价值模型，而是通过组内相对奖励来优化策略模型。
2. 知识蒸馏（Distillation）：一种 模型压缩和知识迁移****的方法，它通过将大型教师模型中的知识转移到小型学生模型中，从而提高学生模型的性能。 这种方法通常用于减少模型的计算成本，同时保持或提升模型的性能。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】