DeepSeek R1-0528本地部署方案指南

DeepSeek最近发布了R1-0528模型，参数量和初版R1一致（约671B），效果有很大提升，再次成为了最强开源模型。

使用Fastllm推理框架（可在github搜索项目主页）可以很方便地在本地部署大模型。本地部署大模型不仅关乎隐私保护，更有诸多高级应用场景。后续我们将专门撰文探讨本地部署的独特优势，今天先为大家带来不同预算下的硬件配置方案。

各档位配置对比

(根据Fastllm用户群的信息整理，此处预估价格按个人海鲜市场装机计算，含税价会高出很多)

档位(元)	输出速度(int4)	板U平台	内存配置	显卡配置	输出速度(int8)	输出速度(fp8原模型)
5000	6 TPS	双路E5 2680	8×64GB DDR4 2400	P100/T10/MI50	-	-
8000	9 TPS	单路EPYC 7532	8×64GB DDR4 2933	2080Ti 22G	-	-
12000	13 TPS	双路EPYC 7532	16×32/64 GB DDR4 2933	2080Ti/3080 20G	8 TPS	5.5 TPS
35000	18 TPS	单路EPYC 9004	12×48/64 GB DDR5 5600	3090/4090	10 TPS	10 TPS
60000	24 TPS	双路EPYC 9005	24×48GB DDR5 5600	3090/4090	17 TPS	17 TPS

硬件选型原则

DeepSeek模型由MLA(约14B参数)和MOE(约660B参数，每次激活约23B)两部分组成：

• 显卡负责计算MLA部分：需要容量小但带宽高

• 内存负责计算MOE部分：需要容量大但带宽要求较低

计算速度主要取决于：

• 内存带宽(由内存通道数和频率决定)

• 显卡带宽(新架构效率更高)

• cpu主要目标是跑满内存带宽，提高核数主要提升Prefill速度。

5000元档：入门配置

基本配置信息

• 板U：双路E5平台，推荐华南/精粤X99双路主板(需要支持8通道DDR4)

• 内存：8×64GB DDR4 2400

• 显卡：P100 16G、T10或MI50

配置分析

这个价位下为了保证内存通道数，双路e5平台几乎是唯一的选择。

主板方面，一般考虑华南或者精粤的x99主板(如果选用御三家主板，预算可能会吃紧)，核心点是要支持8通道 DDR4，一般在千元左右

CPU使用e5 2686比较多，其实差别不是很大，可以使用更好一点的。当年的神u e5现在已经成为时代的眼泪，现在性价比高得出奇，海鲜市场甚至经常能见到几十块的散片

这个价位我们就不要考虑原版fp8模型或者int8模型了，因此内存超过400G即可。预算允许的情况下尽可能使用8根64g 2400mhz的ddr4，目前大概2500元左右能拿下。

gpu最推荐p100 16g，目前大几百元可以拿下，这个显卡纸面带宽不错，但架构较老，计算能力略弱。另外可以考虑架构略新一点的t10。还有一个猎奇的选择是amd的mi50，最近也比较火，这张卡带宽不错而且有32G大显存，mla部分可以跑fp8来提高精度，但amd卡目前生态较弱，优化不足，也比较难用，非发烧友不推荐此卡。

这个价位decode速度能达到5~6 TPS，并没有想象中那么慢，我们可以看视频感受一下6tps的速度

8000元档：性价比之选

基本配置信息

• 板U：单路EPYC 7532，主板可考虑华南H12D系列(需要支持8通道DDR4 2933)

• 内存：8×64GB DDR4 2933

• 显卡：2080Ti 22G、3070 16G或3080 20G

配置分析

这个价位的选择比较多，目前一般认为最优解是7002单路平台。

单路7002主板一般在2000左右，比较常见的是华南的h12d系列，支持8通道ddr4 2933即可。如果想跑int8模型，需要选择有16个内存插槽的主板，价格会贵一点。

cpu性价比比较好的是epyc 7532。板u一起大概在3000元左右

内存可以考虑16根32g 2933，或者8根64g 2933。3200的内存条目前很贵，2933性价比会更高一些。内存价格波动比较大，目前海鲜市场大概也是3000左右拿下

显卡推荐2080 ti 22g，带宽不错，架构也不太老，fp8精度下也能保证一定的上下文，目前2000+可以拿下。便宜一点的选择是3070 16g，带宽和显存都更小，不推荐。如果预算足够，也可以考虑3000+的3080 20g。

这个价位速度最高能达到9tps以上，已经有一定的流畅性了。也有一定的prefill能力。(有群友就是这个设备写小说，常年工作在几十上百k的上下文环境中。)

12000元档：性能更进一步

基本配置信息

• 板U：双路EPYC 7532，主板推荐H11DSI

• 内存：

  • 16×32GB DDR4 2933 (性价比高，但跑不了int8)

  • 16×64GB DDR4 2933 (可跑int8/fp8模型，会贵一些)

• 显卡：2080Ti 22G/3080 20G或更高

配置分析

这个方案是上一档位的升级版，将单路7532换成双路7532，主板最常见是是h11dsi，主板 + 2颗cpu在5500左右。

内存最低使用16根32g 2933 ddr4，预算足够的情况下也可以考虑16很64g 2933 ddr4: 这样可以两颗cpu各自部署一个int4模型，也可以两颗cpu一起部署一个fp8原版模型，或者int8模型。

显卡和上一档一样，咬咬牙也可以考虑3080ti甚至3090。

这个档位跑int4模型可以达到13tps，已经足够流畅了，int8模型在8tps左右，速度也不错。但由于缺少avx512指令集，fp8模型只能跑到5tps左右。

，时长00:37

13tps的速度，已经比较流畅了

35000元档：高端选择

基本配置信息

• 板U：单路EPYC 9004 / 9005 (建议32核以上)

• 内存：

  • 12×48GB DDR4 5600 (跑不了int8)

  • 12×64GB DDR4 5600 (可跑int8/fp8模型，贵很多)

• 显卡：3090

配置分析

为了进一步提高速度，就需要使用更新的平台了。一般考虑至强平台和epyc 9004/9005平台。epyc平台通道更多，输出更快。由于平台新，不同渠道价格差异较大，建议板u总预算控制在15000~20000，u尽量选择32核或以上，16核的u至少使用9135，不建议选择9115

内存方面建议选择12根48g ddr5，价格和32g比不会贵太多，一根大概千元左右。如果有跑满血模型的需求，需要使用12根64g ddr5，价格会贵很多。

到了这个价位，gpu建议选择3090以上，预算很充足的情况下可以考虑4090 48g版本，能提供超长的上下文。

这个档位的机器跑int4模型能达到18tps以上的速度，已经相当流畅了，因为有avx512指令集的加成，prefill可以达到100左右，int8/fp8模型也可以达到10tps以上的速度了。

60000元档：个人顶配

基本配置信息

• CPU：双路EPYC 9004/9005

• 主板：支持双路DDR5

• 内存：24×48GB DDR5 5600

• 显卡：3090或4090/50系

配置分析

上一个方案的升级版，使用双路9004/9005平台。内存推荐买24根48g 5600(64g或者6400都太贵，48g 5600基本够用了)

gpu依然建议选择3090以上，不过都到这个价位了，4090或者50系显卡也是不错的选择

双路9135+24根48g 5600+3090的配置5w多可以拿下，跑int4模型可达25tps以上，fp8原版模型15tps左右，算是比较有性价比的方案了。更换cpu和显卡可以有一定提升，但边际收益会比较低。另外还可以考虑使用qs或es版本的cpu，价格会便宜很多，但有一定风险。

这个速度已经非常流畅了

信创方案

纯国产配置可选：

• CPU：TF 7000系列Arm CPU(支持4路服务器)

• 显卡：沐曦/天数/燧原等国产GPU

• 特点：满足信创需求，自带NPU可同时满足高prefill和decode要求

有信创方案需求的朋友可以后台留言咨询

总结

本地部署DeepSeek R1-0528模型从5千元到6万元都有可选方案：

• 5千元档：适合想低成本体验本地部署

• 8千-1.2万元档：性价比最高，适合大多数用户

• 3.5万-6万元档：性能卓越，适合专业用户和小型工作室

选择时需综合考虑预算、性能需求和未来升级空间。内存带宽是首要考虑因素，其次是显卡带宽。随着预算增加，性能提升的边际收益会逐渐降低。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】