最近，DeepSeek在国际上很火，一方面其效果比肩非开源模型ChatGPT，另一方面其运行成本很低。可以说，DeepSeek是目前为止最先进的大模型之一。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

今天这篇文章，就带大家梳理一下从2024年至今DeepSeek发布的V1版本到V3版本的核心技术点，看看DeepSeek采用了哪些技术构建了最先进的大模型，每一次的升级基本都伴随着训练数据的优化、模型结构的升级、优化方式的更新。

为了方便大家阅读，本文会用比较简洁的语言进行主要技术的介绍，一些其他相关的技术细节深度解析，后续也会陆续进行更新。

1

DeepSeek V1

DeepSeek V1是2024年1月份发布的第一版DeepSeek模型，包含DeepSeek的核心构建方式，核心技术点分为数据端、模型端、优化端、对齐4个部分，前面3个部分处于模型的预训练阶段，对齐阶段使用SFT进行人类风格对齐。

数据端：在数据的处理上，包括去重、过滤、混合3个步骤，目的是构建一个多样性强、纯净的高质量预训练数据。在去重阶段，对于Common Crawl数据集进行全局的去重过滤，可以提升去重比例。在过滤阶段，构建了一套详细的包括文法语法分析在内的评估流程，去除低质量数据。在混合阶段，对不同domain的数据进行采样，平衡不同domain数据量，让数据量较少的domain也能有足够的样本占比，提升数据集多样性和全面性。

此外，在数据处理方面，使用Byte-level Byte-Pair Encoding (BBPE)作为tokenizer，相比BPE是在字符粒度进行字符串分割，BBPE在字节粒度进行处理，整体算法逻辑和BPE类似。

整体参与预训练的token数量为2 trillion。在V2和V3中，训练的token数量不断上升，V2为8 trillion，V3为14 trillion。

模型端：模型的主体结构基本沿用LLaMA。LLaMA主体就是Transformer结构，主要差异包括RMSNorm的Pre-normalization（每层Transformer输入使用RMSNorm进行归一化）、激活函数采用SwiGLU、位置编码采用Rotary Embeddings。模型包括7B和67B两种尺寸，67B尺寸的Transformer中的attention采用了Grouped Query Attention代替最普通的self-attention降低inference开销。Grouped Query Attention每组query共用同一组key和value。

优化端：使用multi-step learning rate代替LLaMA中的cosine learning rate schedule，主要原因是实验发现两者虽然最终收敛到的loss差不多，但是前者在连续学习上loss能够保证一致性，连续学习更加方便。先用2000个step的warmup将学习率提升到最大值，然后在训练完80%的训练数据后将学习率降低到31.6%，在训练完90%的训练数据后进一步降低到10%。

对齐：使用Supervised Fine-Tuning、DPO两种方式进行预训练模型的finetune，进行风格对齐。Supervised Fine-Tuning使用120w搜集到的SFT数据（一些根据指令给出答案的文本，由人类标注的高质量数据，帮助预训练模型迁移人类风格）进行finetune。DPO是针对之前ChatGPT中基于强化学习的RHLF风格迁移的一种升级，不用强化学习，只使用一个指定对应的两个答案之前的相对偏好关系作为损失函数加入到模型中。

2

DeepSeek V2

DeepSeek V2最核心的2点改动都在模型结构上，一个是提出了一种Multi-head Latent Attention提升了inference效率；另一个是构建了基于DeepSeekMoE的语言模型结构。

Multi-head Latent Attention：MLA的主要目的是减少KV缓存占用的空间。KV缓存是大模型都会使用的技术，在inference阶段，每一个token的输出都要和历史所有token计算attention，每次新增token都有很多重复计算，因此可以将前面token计算出的key和value缓存起来。但是直接缓存key和value占用较大的空间，因此MLA对KV进行了一个低维映射，只存储这个低维的向量，节省了缓存存储空间。

DeepSeekMoE：MoE是目前大模型在探索应用的一项技术，基础的MoE将原来的每个token的单个FFN层变成多个并行的FFN层（对应多个expert），并根据输入生成一个路由到各个FFN的打分，选择topN个专家，实现在单token运算量没有显著提升的前提下，扩大模型的参数空间的目的。如下图a中，即是一个激活2个专家的MoE。

而DeepSeekMoE相比MoE有2个核心优化。一个是把Expert变多了（文中称为Fine-Grained Expert），其实就是把原来每个Expert的FFN维度调小，增加Expert数量，并且最终激活的Expert数量也变多。另一个就是增加了几个所有token都走的公用Expert，通过让所有token都走这些Expert，让这些Expert提取通用信息，其他Expert就能更专注于提取差异化的信息。

3

DeepSeek V3

DeepSeekV3在模型结构上的核心优化，一方面是对DeepSeekMoE中的多专家负载均衡问题，提出了一种不需要辅助loss就能实现的解决方案，相比使用辅助loss提升了模型性能；另一方面是引入了Multi-Token Prediction技术，相比原来每次只能预测一个token，显著提升了infer的速度。

Auxiliary-Loss-Free Load Balancing：MoE的一个核心问题是有可能会出现坍缩问题，即训练到最后，激活的总是那么几个Expert，没有实现各个Expert的均衡，从而失去了多专家的意义。一般的解决方法会显示引入一个负载均衡loss（DeepSeekV2，以及一些其他MoE的做法），但是显示引入一个和目标不相关的loss会影响训练效果。因此，DeepSeek V3采用了无需loss的负载均衡方法，在每个Expert打分增加一个这个相应的bias项，bias项只影响路由不影响后续的Expert加权求和计算，每个step都会监控各个Expert的负载均衡情况，对于过载的Expert降低bias项减少其相应的激活数量，对于比较稀疏的Expert增大其bias项提升激活其的样本比例。

Multi-Token Prediction：语言模型都是逐个预测的，每次将当前预测结果作为最新的一个输入，再次预测下一个。改成多token预测，一方面可以显著提升infer的速度，另一方面也可以让模型在生成后续token的时候有一个全局性，提升生成效果，对训练数据利用的也更加充分，加速收敛。

具体做法为，在训练阶段，除了原来的主模型外，还会有几个并行的MTP模块，这些MTP模块的Embedding层和Output Head和主模型共享，内部有一个Transformer层。在主模型预测了next token后，将这个预测token的表征和之前token的Embedding拼接到一起，生成一个新的输入（超出长度的更久远的token被才减掉）。这个拼接好的Embedding输入到第一个MTP中预测next next token。以此类推，将MTP Module1的当前预测token表征和历史token拼接到一起，作为MTP Module2的输入，再预测next next next token。

文中引入Multi-Token Prediction主要为了提升训练效果，inference阶段直接去掉这些MTP模块，也可以引入这些MTP模块提升inference效率。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓