有一种说法越来越常见:国内 AI 看起来更新很快,其实主要是在蒸馏国外模型。

这句话很刺耳。

但不能说完全没有现实依据。

先简单说一下什么叫蒸馏。可以把它理解成老师带学生:让能力更强的大模型生成答案、推理过程和训练数据,再拿这些内容训练一个更小、更便宜的模型。学生不需要重新读完世界上所有资料,也能快速学会老师已经掌握的东西。

对国内 AI 来说,蒸馏太实用了。

训练一个前沿大模型,需要高端芯片、庞大集群、海量数据和长期投入。国内算力受到限制,很多公司根本承担不起完整预训练。直接使用开源模型,再加上合成数据和蒸馏,几个月就能得到一个看起来不错的模型。

它便宜、快速,而且真的有效。

DeepSeek-R1 发布时,就同时放出了6个蒸馏模型,参数从15亿到700亿不等。其中一部分建立在 Qwen 和 Llama 底座上。普通公司不需要部署完整的 R1,也能用较小的显卡获得接近大模型的推理能力。

这类做法让很多原本用不起大模型的人用上了 AI。

所以说蒸馏“救了”国产 AI,并不过分。它降低了门槛,让能力更快扩散,也让国内模型可以用更低的价格参与竞争。

问题在后面。

如果学生一直只做老师出过的题,他可能考得很好,却很难超过老师。

蒸馏能够学习一个模型已经表现出来的能力,却很难创造老师自己也没有的新能力。国外模型提供什么样的答案,学生就容易形成什么样的表达、思路和边界。数据看起来越来越多,来源却可能越来越集中。

更麻烦的是,我们未必知道老师为什么这样回答。

闭源模型只开放输入和输出,不公开训练数据、模型权重和完整方法。国内团队可以收集答案,却看不到答案背后的全部训练过程。最后可能学到了结果,却没有真正掌握产生结果的能力。

如果以后国外模型限制批量调用、提高价格,或者禁止输出用于训练,依赖合成数据的团队就会立刻受到影响。

这才是“被困住”的风险。

不过,把国内所有模型都说成蒸馏产物,也不准确。

DeepSeek-R1 的小模型用了蒸馏,但旗舰 R1 本身不是简单复制国外模型,它建立在自己的基础模型之上,并使用了大规模强化学习。GLM-5 使用了28.5万亿 token 的预训练数据,也搭建了自己的强化学习系统;GLM-5.2 又针对百万上下文做了架构和推理优化。Qwen 同样覆盖了预训练、后训练、强化学习和完整的开源模型体系。

国内不是不会从头训练,而是完整训练太贵,蒸馏太划算。

这两句话要放在一起看。

现实情况可能是:少数头部公司继续做基础模型和原创研究,大量中小公司则基于这些模型做蒸馏、微调和行业应用。以后真正从头训练通用大模型的公司不会越来越多,反而会越来越少。

这并不一定是坏事。

汽车公司不需要自己炼钢,软件公司也不需要每家都训练一个基础模型。能把成熟模型变得更小、更便宜,再放进手机、汽车、工厂和企业系统,本身也是一种能力。

但国内 AI 不能只剩这一种能力。

如果所有团队都在模仿同一批老师,模型会越来越像,错误也会被一起继承。榜单可能继续提高,但真正遇到新问题时,大家仍然要等最前沿的国外模型先给出答案。

国产 AI 想摆脱这个循环,至少要补几件事。

第一,继续训练自己的基础模型。不是每家公司都做,但必须有人做。

第二,建立自己的高质量数据。中文互联网、制造、医疗、能源和真实业务流程里,有大量国外模型接触不到的数据。只有把这些数据变成训练和反馈,国内模型才可能形成自己的优势。

第三,让模型进入真实环境学习。写代码是否通过测试,机器人能否完成动作,工厂良品率有没有提高,这些结果比让另一个大模型打分更可靠。

第四,补国产算力和软件生态。没有稳定、规模化的训练基础设施,再好的算法也很难持续迭代。

所以我不反感蒸馏。对算力和时间都更有限的国内团队来说,它可能就是当前最务实的选择之一。

真正需要警惕的,是把追赶的方法当成最终答案。蒸馏可以帮助国产 AI 迅速学会别人已经会的东西,却不能保证我们找到别人还没找到的东西。

桥的意义,是让人更快走到对岸,而不是一直停在桥上。国产 AI 可以借助蒸馏缩小差距,但最终还是要靠自己的数据、训练体系和原创研究继续往前。

蒸馏应该是国产 AI 追赶的桥梁,不能成为国产 AI 的终点。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐