把 DeepSeek-V3 论文翻烂后，我悟了：671B 是假象，它其实是家“一毛不拔”的超级医院

z996262114

578人浏览 · 2026-07-20 16:18:16

z996262114 · 2026-07-20 16:18:16 发布

把 DeepSeek-V3 论文翻烂后，我悟了：671B 是假象，它其实是家“一毛不拔”的超级医院

友情提示：本文 零公式、零代码，只有 段子、表格和灵魂画图。
看完你能跟朋友吹牛：“我知道 V3 为什么又大又便宜！”

开篇暴击：671B 参数是什么概念？

你打开手机，看到新闻：
“DeepSeek-V3 发布，总参数 6710 亿！”

你的第一反应：

😱 完了，这玩意儿跑一次得烧掉我一个月工资吧？

别慌，听我给你打个赌：
V3 虽然 仓库有 671 个货架，但每次你下订单，它只打开 大约 37 个货架——剩下的 634 个 在摸鱼睡觉。

所以它的算力成本 ≈ 一个 300 亿参数的小模型，但知识量 ≈ 6710 亿的超级大佬。
是不是有点像：你点了一份外卖，结果送来了满汉全席，但只收了你一碗面的钱？🍜

先上一张“全家福”速览表（数学不好也能懂）

你关心的	数字	我的魔幻翻译
总参数量	671B	相当于把全世界所有菜谱塞进一个冰箱
每次激活	~37B	做菜时只开一个抽屉，不是整个厨房
预训练数据	14.8T tokens	把大英图书馆读了两万遍
最长上下文	128K tokens	能一口气看完《三体》第一部还不忘剧情
训练总花费	~560 万美元	比拍一部《流浪地球3》便宜多了（真的）

1. 结构 = 一栋超级医院（最灵魂的类比）

把 V3 想象成一家 超级三甲医院，但这家医院很“抠门”：

医院科室	V3 里的名字	干啥的
医院总面积	总参数 671B	科室超级多，什么疑难杂症都能看
你每次只挂一个号	激活 ~37B	不是全院医生都来给你会诊，只叫几个
病历档案室	MLA 压缩记忆	把你的病历压成一张小纸条，不占地方
导诊台	MoE Router	“数学题去数科室，写代码去码农室”
住院部训练	MTP	医生不仅要猜你明天啥病，还要猜后天、大后天
电费单	FP8 + 管道优化	用省电模式开医院，账单感人

一句话总结：
V3 = 超大知识库 + 每次只动用 5.5% 的力气 + 记忆像压缩饼干。

2. 它到底长啥样？一张“看病流程图”搞定

你输入一句话，就像病人进门，经过层层“会诊”：

每一步都 轻飘飘 的，因为记忆压缩了，专家只叫了顶层的。

3. MLA：出差带“真空压缩袋”，而不是整个衣柜 👕

普通模型（MHA）：

你出差 7 天，把衣柜里 20 件衣服全塞进行李箱 → 箱子爆炸，拉链崩开。
这就是普通注意力——每个词都存完整的 K/V（相当于每件衣服的原件），对话一长，显存就炸。

V3 的 MLA：

你出差，把 20 件衣服抽真空，压成一个小包 → 箱子还能塞下洗漱包、零食、PS5。
MLA 把 K/V 压缩成 低维向量（小卡片），需要时再展开，显存占用骤降。

效果： 128K 上下文不爆显存，而且效果不输（甚至更好）——因为压缩还去除了噪音。

4. MoE：全员大会 vs 小组会诊 🧑‍⚕️

传统 Dense 模型：每次开会，公司 671 个人全都到场，讨论一个“今天中午吃啥”的问题——浪费严重。

V3 的 MoE：前台（共享专家）必到，然后 Router 根据问题喊 Top-K 个专业对口的人。
比如问“导数”，喊数学组；问“排序算法”，喊算法组；问“今天天气”，喊……气象组？反正不喊财务。

关键：

总共有 256 个路由专家，但每次只激活 8~9 个（加上共享专家）。
所以每次运算量 ≈ 37B，不是 671B——省钱的核心秘密。

5. 负载均衡：智能叫号系统，别让网红专家累死

如果 Router 总喊“数学专家”，那数学专家会过劳死，而“考古专家”天天喝茶。
但 V3 怎么解决？

它给每个专家装了一个“忙碌旋钮”（bias）：

专家太忙 → 把 bias 调低 → 少分活
专家太闲 → 把 bias 调高 → 多分活
但 “专业匹配分” 保持不变 → 不会为了平均而乱点鸳鸯谱

这比传统“强制 KPI 平均接单”要聪明得多——不会让专家干不擅长的活。

6. MTP：下棋想三步，考试想三题

普通语言模型训练时，只让它 猜下一个字。
比如看到“今天天气”，只练猜“很”。
V3 的 MTP（多 token 预测）：同时逼它猜 “很” “好” “啊” ——往后多想几步。

好处：

训练信号更密集，同样的数据学得更扎实
推理时可以用来“推测解码”，提速（虽然这不是重点）
像下棋一样，看得远，自然更稳

7. 训练成本：钱花哪儿了？（一个扎心的大饼）

阶段	GPU 小时	占比	我的吐槽
预训练（读 14.8T 数据）	2664K	95.5%	几乎全花在“读万卷书”上
上下文扩展（32K→128K）	119K	4.3%	练练“记性”
后训练（SFT+RL）	5K	0.2%	最后“教礼貌、教套路”居然这么便宜！
总计	2788K	100%	约 560 万美元（够在北京买几套房？）

惊不惊喜？ 让模型变“聪明”的微调和强化学习，花钱少得可怜——大头全在预训练把底子打好。

8. 为什么训得起？四件“省钱的秘密武器”

工具	正式名	灵魂比喻
低精度计算	FP8	用 “游标卡尺” 代替“纳米测量仪”，够用就行
双管道调度	DualPipe	流水线工人边干活边搬货，不傻等
通信优化	IB + NVLink	不同机房的专家打电话像打内线，不卡顿
显存抠门	少用昂贵并行策略	能挤就挤，绝不租更大的房子

9. 跟一个 Token 走一遍“医院之旅”（故事版）

假设你输入了一个词：“积分”

挂号 → Token 进入模型
记忆科 → MLA 从压缩小卡片里找回相关上下文（不翻整本病历）
小盒子 → KV 缓存只存压缩向量，省地方
导诊台 → Router 判断：这是数学题 → 叫数学专家
专家会诊 → 共享专家 + Top-K 专科（总共约 37B 干活）
开药 → 预测下一个字，训练时还会多猜几个
出院 → 输出答案

全程 671B 专家里绝大多数在睡觉，只有少数值班——所以快且省。

10. 邻居们傻傻分不清？一张“族谱”搞定

名字	改了什么	跟 V3 的关系
DeepSeek-V2	提出 MLA + MoE	V3 的亲爹
DeepSeek-V3	更大 MoE + MTP + FP8	本文主角
DeepSeek-R1	主要是强化学习训练	骨架 = V3，但更会推理（像 R1 是 V3 的“特训版”）
DeepSeek-V3.2	加稀疏注意力 DSA	V3 的长上下文升级包
DeepSeek-V4	混合注意力等	下一代，目标百万上下文

常见误区：

“671B 推理很贵？” → 不，激活才 37B。
“R1 是新网络？” → 不，多半是 同架构，不同训练配方。
“MLA = 稀疏注意力？” → 不，MLA 是 压缩记忆，稀疏注意力是后来的事。

11. 期末小抄（30 秒速记）

DeepSeek-V3  = 
  看起来像 671B 的巨无霸
  用起来像 37B 的小清新
  记忆靠 MLA 压缩
  分工靠 MoE 导诊
  训练靠 MTP 多走几步
  省钱靠 FP8 和 管道骚操作

12. 最后，我用人话给你总结成“六个字”

大、省、精、准、狠、抠

大：671B 知识容量
省：每次只动 5.5%
精：MLA 压缩记忆不丢精度
准：Router 精准找专家
狠：MTP 逼自己多想几步
抠：FP8 把每一分钱掰成两半花

附赠：名词速查

缩写	全称	人话
MLA	Multi-head Latent Attention	记忆压缩术
MoE	Mixture-of-Experts	专家轮流上班
MTP	Multi-Token Prediction	一次猜多个字
RoPE	Rotary Positional Embedding	告诉模型谁先谁后
SFT	Supervised Fine-Tuning	照着答案学说话
RL	Reinforcement Learning	用奖励学更好
FP8	8-bit Float	省电模式
DualPipe	双管道并行	让 GPU 不摸鱼
KV Cache	Key-Value Cache	短期记忆抽屉