DeepSeek-R1的蒸馏模型是通过蒸馏技术从更大版本的DeepSeek-R1模型中提取出来的紧凑高效版本。
这个过程将大型模型的知识和推理能力转移到更小的模型当中,使它们能够在推理任务上表现良好,同时更加轻便、节省资源,并且更容易部署。


DeepSeek-R1-Distill-Qwen系列:1.5B,7B,14B,32B。

DeepSeek-R1-Distill-Llama系列:8B,70B。

下面从模型特点、所需硬件、适用场景三个方面来解读DeepSeek-R1系列模型

1、模型特点

  • 1.5B-70B:参数数量相对少很多,模型容量依次递增,捕捉语言知识和语义关系的能力也逐渐增强,但整体不如671B模型丰富。
  • 671B:参数数量最多,模型容量极大,能够学习和记忆海量的知识与信息,对各种复杂语言模式和语义关系的捕捉能力最强。

2、所需硬件

低配硬件适配

  • 显卡:集成显卡或者独立显卡的显存不足2GB。
  • 内存:8GB以下
  • CPU:老旧的双核或四核处理器。
  • 推荐模型版本:DeepSeek-R1-1.5B。

中配硬件适配

  • 显卡:显存为4-6GB。
  • 内存:16GB。
  • CPU:英特尔酷睿i5系列或者AMD锐龙5系列。
  • 推荐模型版本:DeepSeek-R1-7B。

高配硬件适配​​​​​​​

  • 显卡:显存高达 8GB 及以上。如NVIDIA GeForce RTX30系列、AMD Radeon RX 6000 系列等高性能独立显卡,
  • 内存:32GB及以上。
  • CPU:英特尔酷睿i7/i9系列或AMD锐龙7/9系列。
  • 推荐模型版本:DeepSeek-R1-32B甚至更高版本的模型。

更高硬件适配

  • 显卡:A100/H100
  • 推荐模型:DeepSeek-R1-70B以上版本

实测体验:

本机是戴尔Precision 7560,内存64GB,独立显卡NVIDIA T1200 Laptop GPU,4GB。
当运行7B、8B模型时还可以,当运行14B模型时,笔记本风扇瞬间转速加快,风扇噪音很大,对显卡消耗较大。

3、适用场景

  • 1.5B-7B:适合对响应速度要求高、硬件资源有限的场景,如移动端的简单智能助手、轻量级的文本生成工具等,可快速加载和运行。
  • 8B-14B:可用于一些对模型性能有一定要求,但又没有超高性能硬件支持的场景,如小型企业的日常文本处理、普通的智能客服等。
  • 32B-70B:能满足一些对准确性有较高要求,同时硬件条件相对较好的场景,如专业领域的知识问答系统、中等规模的内容创作平台等。
  • 671B:适用于对准确性和性能要求极高、对成本不敏感的场景,如大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等。

结论:

  • 如果你要本地运行,建议选择7B或14B
  • 如果你追求更强推理能力,可以选32B或70B
  • 671B 可能是DeepSeek的顶级大模型,适用于云端推理

Deepseek本地部署

命令行部署

1、下载Ollama并安装

https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe

下载后双击运行

2、Ollama官网搜索deepseek

3、直接把命令ollama run deepseek-r1:7b输入到cmd命令界面,即可开启下载。实测不用科学上网就可以下载。

界面式部署

下载并安装LM-Studio

然后下载相关的模型。

参考:

1、【deepseek】deepseek-r1本地部署-第三步:下载模型_deepseek-r1模型下载-CSDN博客

2、一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答:包括671B满血版和各个蒸馏版的部署_ollama run deepseek-r1:671b-CSDN博客

3、DeepSeek-R1大模型本地部署及简单测试_deepseek本地部署gpu需求-CSDN博客

4、DeepSeek部署教程(基于Ollama)_deepseek ollama部署-CSDN博客

5、DeepSeek-R1-Distill-Qwen-1.5B:最佳小型LLM?-CSDN博客

6、DeepSeek-R 1.5B、7B、8B、14B、32B、70B、671B 主要区别在于:_deepseek7b和14b的区别-CSDN博客

7、DeepSeek-R1的1.5b、7b、32b、671b等模型的区别与应用!|代码|deepseek|用户开放推理模型_网易订阅

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐