DeepSeek - R1 作为一款备受瞩目的模型,其强大的性能和广泛的应用潜力令人心动。但如何在本地顺利部署它,以及怎样让它以 “满血” 状态运行,是大家迫切想要了解的。

 

DeepSeek-R1每个版本的配置要求及适合场景。

根据 Ollama 平台提供的 DeepSeek-R1 模型信息,以下是不同参数量模型的本地部署硬件要求和适用场景分析。

注:部分数据基于模型通用需求推测,具体以实际部署测试为准。

选择合适的DeepSeek版本不仅要考虑硬件配置,还要根据实际应用场景来决定。建议先从较小的模型开始尝试,逐步升级到更大的模型。这样可以在确保性能的同时,避免资源浪费。

如果只是运行蒸馏版本的 R1,操作并不复杂,只要显存足够,一般不会有太大问题。
但如果要运行全参数版本的 R1,所需的硬件配置可就不容小觑了。
接下来就来告诉你,如何在本地跑起来 DeepSeek-R1 所需的最小硬件配置

如果你想在本地运行 DeepSeek-R1,全参数版本的最低 GPU 配置如下:

从上图可以看出,想要本地跑 “满血版” DeepSeek-R1,最便捷的方案是 8×H200,而更大规模的分布式部署则需要 16×H800 甚至更多 GPU 资源。

目前有哪些框架可以运行 DeepSeek-R1?
DeepSeek-R1 的模型架构与 DeepSeek-V3 一致,因此官方 GitHub 将本地部署的相关信息链接到了 DeepSeek-V3 仓库[1]

目前,DeepSeek-V3(即 DeepSeek-R1)支持以下 7 种本地运行方式:

  1. DeepSeek-Infer Demo:官方提供的 FP8 和 BF16 轻量级推理 Demo。
  2. SGLang:支持 FP8 和 BF16 推理(多 Token 预测功能即将上线)。
  3. LMDeploy:支持 FP8 和 BF16 的高效推理,可用于本地和云端部署。
  4. TensorRT-LLM:支持 BF16 推理及 INT4/8 量化,FP8 支持即将推出。
  5. vLLM:支持 FP8、BF16,并兼容张量并行和流水线并行。
  6. AMD GPU:通过 SGLang 在 AMD 显卡上运行 FP8 和 BF16 模型。
  7. Huawei Ascend NPU:支持在华为 Ascend 设备上运行 DeepSeek-V3。

其中,DeepSeek-Infer Demo 适用于快速测试,而其他方案则更适用于高并发场景。接下来,我们逐一解析它们的最低运行硬件需求。

以上就是关于 DeepSeek - R1 本地部署配置要求以及运行 “满血版” 的详细内容啦。希望这篇文章能为你的模型部署和使用之路提供有力的帮助。在探索和实践的过程中,你可能还会有新的发现和疑问,不妨多尝试、多多交流,。专注与HPC科研服务器细分领域FineHoo-Server

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐