ChatGPT一夜爆火,是算力、数据、算法七十年的漫长等待后的爆发
上篇文章《AI不是从天而降,它经历了七十年三起三落:读懂AI的第三课》,我们知道从1950年图灵提出"机器能思考吗"到现在,这条路走了七十年。前两次AI热潮都沉寂了,唯独这一次,真的改变了每个人的工作和生活。
原因只有一个:算力、数据、算法引爆AI的三个条件,第一次同时凑齐了。

第一个:算力——让AI有了有力的工具。
同样烧开一壶水,用电磁炉5分钟搞定,用蜡烛可能得烧到明天。
AI的算力,就是电磁炉和蜡烛的差别。
电脑芯片,从几十纳米,到如今的几纳米,能力越来越强。强大的算力,让AI的训练,从几年变成几个月乃至几周。大模型的突然爆发,也有能理解了。
因为硬件终于跟上了。但"硬件跟上"这四个字,也并非一路坦途。
2012年之前,AI研究主要用的还是CPU,训练一个图像识别模型可能要好几天。2012年AlexNet证明GPU(显卡芯片)并行计算能力远超CPU之后,NVIDIA顺势成为AI时代最重要的基础设施公司,GPU从游戏设备变成了AI训练的"标配"。2017年Google推出TPU(张量处理器),专门为深度学习设计,进一步拉高了算力上限。

算力的飞速增长带来了一个直接结果:训练大模型的成本在持续下降。
2017年训练一个中等规模的语言模型可能需要几十万美元;2020年GPT-3的训练成本据传已经接近千万美元级别;到了2024年,DeepSeek-V3用约600万美元的训练成本,做出了性能接近GPT-4o的模型,这个成本在几年前是不可想象的。
成本下降意味着更多公司有能力训练自己的大模型,而不是只有资金雄厚的巨头才能玩得起,这也让更多的企业,可以独立部署自己的AI,来规避数据泄露的可能。
算力的提升,让AI商业化之路,变得轻松。
第二个:数据——让AI有了充足的燃料。
老话说"巧妇难为无米之炊"。再厉害的厨师,没米也做不出饭。
AI也一样,再强的算力,再好的算法,没有数据也训练不出什么结果来。
互联网三十年积累了大量人类语言、图片、视频等等数据。ChatGPT读了几乎整个互联网的文字,你让DeepSeek帮你写方案,它能写出来,是因为它肚子里有足够多的素材。

但数据的故事不只是"量多"这么简单。
首先是规模。GPT-3用了约3000亿个token(词元)训练,DeepSeek-V3用了约14.8万亿token。读得越多,知识覆盖面越广,理解能力越强。
其次是质量。互联网上的数据是"有杂质"的,广告文案、网络吵架、无意义的水帖充斥其中。顶级AI实验室会花大量时间做"数据清洗"和质量筛选,从海量原始数据中挑出真正有价值的部分。
再次是多样性。单一来源的数据会让AI产生偏见,AI需要接触不同语言、不同领域、不同视角的数据,才能发展出更平衡的理解能力。
最后是"后训练"数据。大模型预训练完成后,还需要通过高质量的指令数据、人类反馈数据做进一步调优——这一步叫RLHF(基于人类反馈的强化学习),正是ChatGPT在2022年引爆行业时最核心的技术突破之一。预训练让AI"见过世面",RLHF让它"懂得规矩"。
没有数据,再强大的版图,再好的算法也只能空转。
第三个:算法——让AI有了高效的能力。
有火有米,要想做出好吃的饭,还得有食谱。
AI要想真正智能起来,就需要一套高效的算法,这就是AI的"食谱":规定好每一步怎么做、火候怎么掌握。
而这个算法的发展,也是在经历了几个关键节点后达到现在的水平。

符号 AI 时代(1950s-1980s):科学家们试图用明确的规则让机器"推理",比如"如果下雨,就带伞"。规则越多越复杂,但遇到没有预设的情况就完全失效。
连接主义崛起(1980s-2010s):让机器通过大量数据自己总结规律,而不是靠人工写规则。1986年反向传播算法(Backpropagation)的完善让深度学习成为可能,但受制于当时的算力和数据,发展缓慢。
2017年:Transformer登场。Google发表了论文《Attention Is All You Need》,提出了Transformer架构。这个架构让AI第一次能高效处理超长序列的数据,同时也让并行计算成为可能,直接催生了后来所有大语言模型。
可以这么说:没有Transformer,就没有ChatGPT,也没有今天的AI大模型。
2022年后:工程化的力量。算法不只有"架构"创新,训练方法、工程优化、推理加速……这些"工程化"的工作同样关键。DeepSeek之所以能震惊全球,不只是因为架构好,更是因为它用更少的算力和数据,通过一系列工程优化,做出了不逊于GPT的效果。这就相当于用更小的火、更少的米,按照更好的食谱,做出了一样好吃甚至更好吃的饭。
没有算法,再多数据和算力,也无用武之地。
更多推荐

所有评论(0)