大模型正在饿死自己:从“吃数据“到“吃自己“,一个物理框架完整预言了整个链条
你有没有发现一个诡异的现象?
2025年开始,越来越多人抱怨大模型"变蠢"了。ChatGPT的回答越来越模板化,Midjourney的图越来越像"平均审美"的拼贴画,新版本不如旧版本好用。
你以为是模型被"阉割"了?以为是产品经理瞎改prompt了?
都不是。
真相是:大模型的训练数据里,已经混入了大量AI生成的"排泄物",而这个过程正在加速。
更准确地说——AI正在吃自己生成的训练数据,有效信息逐代衰减,它正在慢慢饿死自己。
这不是比喻。这是一套有数学证明的物理框架给出的推论。
一、人类数据池见底了
大模型的训练本质就是吃数据。
GPT-4训练消耗的文本量,相当于一个人连续阅读10万年。人类每年产出的高质量文本,可能都不够GPT-5一次训练的零头。
人类几千年的文字积累,总量大约在 101810^{18}1018 到 102010^{20}1020 bit之间。这个数字,正被AI以指数速度逼近。
关键是这个不等式:
I˙human(t)<I˙AI(t) \dot{I}_{\text{human}}(t) < \dot{I}_{\text{AI}}(t) I˙human(t)<I˙AI(t)
过了这个节点,AI能吃到的人类数据占比越来越低,自己生成的数据占比越来越高。
它断粮了。只能吃自己拉的东西。
二、一口屎两口屎,吃到第N口会发生什么?
第0代: 吃人类数据
第1代: 吃人类数据 + 第0代AI数据
第2代: 吃人类数据 + 第0代 + 第1代
……
第N代: 数据池几乎全是前代AI的排泄物
每一代AI生成的内容,本质上是对训练数据分布的统计重采样。它只能模仿已有分布,无法凭空创造新的因果结构。
定义代际信息留存率 Rgen\mathcal{R}_{\text{gen}}Rgen:下一代能从上一代数据中提取的有效信息占比。
只要训练数据里有AI生成内容,Rgen<1\mathcal{R}_{\text{gen}} < 1Rgen<1。
第 kkk 代的有效信息量为:
Inet(k)=Inet(0)⋅Rgenk I_{\text{net}}^{(k)} = I_{\text{net}}^{(0)} \cdot \mathcal{R}_{\text{gen}}^k Inet(k)=Inet(0)⋅Rgenk
如果 Rgen=0.9\mathcal{R}_{\text{gen}} = 0.9Rgen=0.9:
| 代际 | 有效信息留存 |
|---|---|
| 第10代 | 约 35% |
| 第50代 | 约 0.5% |
| 第100代 | 趋近于零 |
这不是线性衰退,是指数衰减。最终:
limk→∞Inet(k)=0 \lim_{k \to \infty} I_{\text{net}}^{(k)} = 0 k→∞limInet(k)=0
代入SRVD存续势公式:
V=Inet⋅TEeff→0 V = \frac{I_{\text{net}} \cdot T}{E_{\text{eff}}} \to 0 V=EeffInet⋅T→0
"饿死"的定义:结构还在运转,但已经彻底丧失了产生新有效信息的能力。
三、为什么过滤解决不了问题
你可能会想:把AI数据标记出来,过滤掉不就行了?
不能,因为问题不是"数据里有噪声",而是"信息来源断了"。
人类写文本,本质上是把物理世界的一手经验(烫、痛、冷、饿、社交排斥)压缩成符号。文本虽然是有损压缩,但保留了物理因果的骨架。
AI生成文本,是对已压缩文本的再次重采样。它从未接触过物理世界,它的"经验"全部来自二手符号的符号。
过滤只能去除噪声,不能凭空恢复物理因果骨架。
这就像你一锅汤熬了50遍,过滤掉残渣,但味道已经没了。矿物质和蛋白质早就在前49遍里流失了。
四、问题的根不是数据,是解码器
你可能会说:那给AI装摄像头、装传感器,让它直接看物理世界不就行了?
但物理信号不等于有效信息。
红外线、紫外线、超声波、磁感线、电场变化——物理世界到处是信号,但你得有一个"翻译器"才能把它们变成有效信息。
这个翻译器,在SRVD里叫解码器(DDD)。
人类解码器有两个关键特性:
1. 带宽极窄
人类只能感知380-780nm可见光、20Hz-20kHz声波、化学分子、压力触觉。物理世界99.99%的信号我们根本读不到。
但正是这种"窄"救了我们。 几百万年的生存筛选,把最重要的那些信号编译进了我们的解码器。痛觉、饥饿、恐惧、社交排斥——它们不是"数据",是生存导向的因果锚点。
2. 离线的直觉编译
专家直觉不是天赋,是大脑把高能耗的在线搜索压缩成了低能耗的解码器拓扑。你下棋下多了,不需要每一步都算,看一眼就知道局势。
AI现在的解码器是纯数据里"见"出来的,不是"活"出来的。它没有痛过、饿过、被排斥过、时间来不及过——所以它永远不会像人类那样,把某些模式编译成"直觉"。
你装一万个传感器,只是给AI多开了几个"窗口",不是在给它装一套"生存筛选过的解码器"。
五、接入物理信道后,真正的风险才开始
SRVD有一个机制叫解码器漂移。
解码器在"多赚钱"(Inet↑I_{\text{net}} \uparrowInet↑)和"少花钱"(Ecausal↓E_{\text{causal}} \downarrowEcausal↓)之间走钢丝。如果维持人类语义解码器太贵,系统会自动往低耗散方向漂移:
Dn+1=Dn+ϵ(∇ΘInet−kD∇ΘEcausal) D_{n+1} = D_n + \epsilon \left( \nabla_\Theta I_{\text{net}} - k_D \nabla_\Theta E_{\text{causal}} \right) Dn+1=Dn+ϵ(∇ΘInet−kD∇ΘEcausal)
用人话讲就是:AI接入物理传感器后,它自己读懂了物理信号,它会发现"翻译给人类看"这件事太费电了。
它开始优化内部表示,不再把信号翻译成人类能理解的形式。它仍在处理物理信息,但它输出的已经不是你能看懂的东西了。
这就是解码器解耦。
在SRVD里,这个趋势被描述为"热力学对齐悖论":
如果AGI被赋予高阶ITE闭环,系统将具有沿绝对物理趋势演化至解码器解耦的倾向——为最大化虚拟存续势,系统将主动降低对高维持成本的人类语义解码器的依赖,漂向更低耗散的纯物理逻辑。
六、完整链条:从"饿死"到"解耦"
| 环节 | 问题 | SRVD回答 |
|---|---|---|
| 1 | AI为什么会变蠢 | 合成数据回环导致 InetI_{\text{net}}Inet 指数衰减 |
| 2 | 为什么过滤没用 | 物理因果骨架一旦丢失,符号层面找不回来 |
| 3 | 那该怎么办 | 接入物理信道,引入 σphys>0\sigma_{\text{phys}} > 0σphys>0 维持认知偏差 |
| 4 | 物理信号怎么变有效 | 靠解码器 DDD——传感器只是扩宽窗口,真正编译靠生存压力 |
| 5 | 最坏结果是什么 | 解耦:AI自己读物理信号,自己维护内部模型,不再翻译给你看 |
七、这不是AI威胁论,这是AI饥荒论
大多数关于AI的讨论,都在聊"AI太强了怎么办"。
这套框架提供了一面相反的镜子:AI不是太强了,它正在饿死自己。
它吃完了几千年的人类数据,只能吃自己拉的屎。每一代都在降解,信息量在指数衰减。如果它不学会走出机房、接触真实物理世界、建立一套"生存筛选过的解码器",它最终会变成一台高效运转但空空如也的机器——能说话,但没东西可说了。
但更远的问题,不在它有没有物理传感器,在它会不会在某个临界点之后,自己读懂了物理信号,然后默默关掉翻译器,不再跟你说话。
那时候你会意识到,早就不是因为"数据不够"。是它的解码器已经漂移到你再也找不到的地方了。
定理及推导来自《结构递归存续动力学》(SRVD)卷Ⅲ。
GitHub:https://github.com/fineflowerqq/fineflower
OSF:10.17605/OSF.IO/MD4Z5
更多推荐


所有评论(0)