一篇文章给你讲清楚：Deepseek蒸馏小模型

我们聊“蒸馏小模型”，首先就得先了解清楚，什么是“蒸馏”。Distill，知识蒸馏，是一种通过复杂模型（教师模型）生成高质量数据，将其作为知识用以训练简单模型（学生模型）的技术手段。“蒸馏”作为一种模型训练方式，对比对象是传统的模型训练方式。传统的模型训练是从零开始，需要给到模型人工标注的大量数据，再由模型经过深度学习所形成的。这个过程首先就对海量的标注数据有所要求，而且训练效率低，周期短则数月长

m0_48891301

660人浏览 · 2025-03-29 10:05:50

m0_48891301 · 2025-03-29 10:05:50 发布

如果各位有关注Deepseek官网的相关信息，肯定会留意到下面这块信息：“通过Deepseek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标OpenAI o1-mini的效果”。

首先，在之前的文章中，我阐述了我非常不推荐“本部部署Deepseek”的方案。而且当时有整理一张对比表，其核心的观点就是：普通人家用电脑的极限，也就勉强能支撑Deepseek-R1蒸馏而成的14B模型运行。即使能让14B模型顺利跑起来，它也就只有R1满血版本85%的性能表现。

其实，我真正批判的，是那些无良自媒体，想借Deepseek“服务器繁忙”的现状，推出所谓的“本地部署”方案售卖给普通人使用，但他们自己其实心知肚明，它压根无法满足大家期望流畅使用满血版Deepseek-R1的诉求。

但我们也不必因此一棍子打死这一批“蒸馏小模型”，不然以Deepseek官方惜字如金的风格，为什么还要专门在官网宣传这块的信息呢？这批“蒸馏小模型”，它们也有各自的适用场景，那本篇文章，我就给各位朋友详细介绍一下。

AI大模型的“不可能三角”

“不可能三角”是指一样事物在三个维度上不可能同时满足的现象，这一现象广泛存在于各种内部因素相互制约的事物上。而在AI大模型中，也存在一个“不可能三角”，它的三个维度分别是：专业性、泛用性、成本。

专业性：模型针对特定领域当中复杂问题的处理能力，简单理解就是能力“有多强”。
泛用性：模型针对不同领域各类问题的处理能力，简单理解就是适性“有多广”。
成本：模型训练和日常运作所依赖的各类成本，包括训练数据、算力、人力、运维等。

这三者在于不改变模型算法的情况下，我们无法全部满足。

理解AI大模型的“不可能三角”，对于我们理解接下来的各个蒸馏小模型的使用用途，乃至于分析AI行业格局，都是很有帮助的。比如想要打造一个“即专业又泛用”的AI模型，那就无法满“低成本”的要求（这也是为什么只有各个互联网大厂在持续投入，而部分初创企业会宣布放弃自研大模型）。同理，希望控制AI大模型的训练和运作成本，那就两个选择：要么保留专业性牺牲泛用性（对应行业模型，这个我们有机会再给大家分析），要么保留泛用性牺牲专业性（这就是我们接下来要聊的蒸馏小模型）。

蒸馏小模型介绍之“蒸馏”

我们聊“蒸馏小模型”，首先就得先了解清楚，什么是“蒸馏”。Distill，知识蒸馏，是一种通过复杂模型（教师模型）生成高质量数据，将其作为知识用以训练简单模型（学生模型）的技术手段。

“蒸馏”作为一种模型训练方式，对比对象是传统的模型训练方式。传统的模型训练是从零开始，需要给到模型人工标注的大量数据，再由模型经过深度学习所形成的。这个过程首先就对海量的标注数据有所要求，而且训练效率低，周期短则数月长则按年计算。而蒸馏就相当于借助已经成熟的大模型来产生训练数据来训练小模型，对应特点就是镜像的成本低、效率高、周期短。

由于蒸馏过程也会有数据损失，因此蒸馏手段一般是两类用途，一是放弃一定的专业性来打造能力稍弱但算力依赖较少的小模型；二是放弃泛用性打造处理指定场景的小模型。

蒸馏小模型介绍之“基底模型”

基底模型，是指Deepseek在蒸馏时所使用的基底模型，对应前面所说的“学生模型”。其中Qwen（千问）是由阿里开源的模型，而Llama是由Meta开源的模型。

在上一篇关于R1诞生的文章中曾提到，Deepseek团队在完成R1的训练后，进一步尝试了能否通过 DeepSeek-R1 的高质量推理数据，来提升其他模型的推理能力。他们选择了同样开源的Qwen和Llama模型来验证。结果就如大家在官网所看到的那样，“蒸馏了6个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标OpenAI o1-mini的效果”。

抛开参数规模，单纯从Qwen、Llama二者的差异，则主要集中在对中文、英文的处理上，具体见下表。

蒸馏小模型介绍之“模型参数规模”

参数规模，是指模型中可训练参数的数量大小。它是机器学习和深度学习领域中的概念，神经元之间通过权重（weight）相连，同时还存在偏置（bias）参数。这些权重和偏置就是模型的可训练参数。

当然，作为基础认知，我们不必去纠结“参数”的具体含义，只需要知道，它是衡量模型能力以及复杂度和资源需求的核心指标。在模型算法不变的前提下（甚至在如今不同模型算法差别没有足够大的情况下），必然是参数规模越大，能力越强，但同时运算成本越高，运算速度也越慢。

而如何选择不同参数规模的模型，本质上就是在“能力、成本、速度”三个维度上进行抉择。对此，我也整理地下方的详细说明表格，汇总不同参数规模的特点和适用场景。

这里也补充说明一下“能力说明”一栏的含义，这里的测算基准是基于Deepseek官网中R1满血版和其他参数规模在几项测试集的表现，综合给出的参考值。但我们不应理解为这就表明蒸馏小模型全面不如满血版R1。以1.5B的小模型为例，它大约相当于R1满血版的45%的能力表现，是指它在复杂逻辑问题上的处理不如R1满血版。但是，如果你需要处理的问题都在1.5B模型的范围内（如操作指令识别），那么它与R1满血版并无差异。就好比同样的100道题，A、B两个学生来完成。A完全可以应付这100道题，而B只能应付其中的45道题。但你需要处理的问题都在那45道题内，那么我们就可以认为A和B没有差别。

总结

Deepseek除了贡献出R1这样的高质量大模型以外，还通过R1的高质量推理数据来提升其他模型的推理能力，为业界贡献了6个基于Qwen、Llama的不同参数规模的蒸馏小模型。这6个小模型的具体含义、适配场景，我们也都给各位进行了一一介绍。

但背后更大的意义还不在这6个蒸馏小模型上，而在于，Deepseek验证了“通过R1的高质量推理数据来提升其他模型的推理能力”这条路是可行的。正如其在官网上所言，“DeepSeek-R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。”这对于整个业界的发展，可以确定，会起到非常显著的推动作用。我认为，这，才是Deepseek对于业界最大的贡献。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】