伙伴们好啊！我是你们的老朋友，橘畔微光！

就在昨天，Andrej Karpathy 在 Y Combinator（YC）AI Startup School的旧金山创业大会上发表了一场 40 分钟的演讲。同时在会后，Andrej Karpath也公开了演讲PPT和视频方便感兴趣者深入学习。这次大会的主要内容还是围绕“软件3.0时代”的到来，即以大型语言模型（LLMs）为核心的软件变革，以及这对开发者、用户和软件设计的深远影响。文章可能稍微有点长，感兴趣的朋友们，可以点击以下链接进行观看：

Andrej Karpathy：软件正在再次改变https://www.youtube.com/watch?v=LCEmiRjPEtQSoftware in the era of AIhttps://drive.google.com/file/d/1a0h1mkwfmV2PlekxDN8isMrDA5evc4wW/view

接下来，我将会对本次创业大会公开的演讲PPT《Software in the era of AI》Part1进行分析与思考，并给大家一些合理看法，仅供参考。

目录

一、软件正在经历第三次革命：从代码到神经网络再到提示

二、LLM像“新型计算机”，但有“人类思维缺陷”

01、LLM的"公用事业"特性

基础设施投资的相似性

服务可靠性要求

OpenRouter：AI时代的"转换开关"

智能"断电"现象

02、LLMs的"制造工厂"属性

技术门槛极高

资本密集特性

有厂&无厂模式

1、拥有制造能力的公司

2、无厂设计公司

03、LLMs的"操作系统"特征

多样化的软件环境

兼容性挑战

系统级vs用户级的类比

1、内核空间vs用户空间

2、上下文窗口as内存管理

---

一、软件正在经历第三次革命：从代码到神经网络再到提示

在演讲的过程，Karpathy多次提出软件正在经历第三次重大变革，称之为“软件3.0”，区别于传统的“软件1.0”（人类编写代码）和“软件2.0”（神经网络权重作为程序）。

首先，我们应该如何对传统代码编程时代“软件1.0”进行定义，其实，很简单。

在过去几十年里面，程序员一般都是用Python、C++等语言编写明确指令，告诉计算机每一步做什么，比如判断关键词情感分类、增加新关键词需手动更新字典，但是基于传统代码编写软件的同时，也存在很多的不足与问题，比如有时候老板要求代码像“菜谱”，每行指令必须精确，这不得花费大量精力去修改代码？不同的甲方有不同需求，一旦修改需求就意味着重新写代码，维护起来十分困难。

但是我们现在处在神经网络权重编程时代“软件2.0”，也就是我们常说的AI（人工智能）。

我们现在不仅可以通过训练数据优化神经网络参数（权重），让模型自己“学习”完成任务，还能够做到数据驱动、计算高效。但是工程师/开发者无法直接修改网络决策逻辑。

但是Karpathy所提到的“软件3.0”，无疑是对软件时代下生态的革命性变化。我们能够用自然语言（英语）向大模型发指令，模型自动生成代码或结果。用提示词“作为情感分类器，遇到标签内容，输出POSITIVE/NEGATIVE”，模型直接替代传统代码流。减少了很多时代的不足，同时提高了时代进步的速度。

正如PPT中所展示的这样，

• 软件1.0时代的特点：
  程序员需要手工编写每一行代码，明确告诉计算机如何执行任务，这是一种显式编程范式。
• 软件2.0时代的特点：
  不再手写所有逻辑，而是通过大量数据训练神经网络，让模型自动学习模式和参数。
• 软件3.0时代的核心：
  "提示即程序"（prompts are programs），通过自然语言直接"编程"大型语言模型，极大降低了编程门槛。

不难发现，“软件3.0”时代的显著特点：

1. 软件开发范式的根本变革：从手写代码到神经网络权重，再到自然语言提示，编程方式正经历历史性转变

2. 技术民主化：软件3.0让每个人都能创造软件，不再需要专业编程知识

3. LLM作为新型计算平台：大型语言模型不仅是工具，更像是操作系统、制造工厂和公用事业，代表了新的计算机形态

4. 人机协作的新模式：软件3.0推动了"部分自治"产品的兴起，强调AI与人类的协同工作

5. 软件生态的全面重构：传统的编程语言版图正在被AI工具重新划分，创造全新的机遇和挑战

这张图片正是Karpathy想要表达的观点：“AI正在吞噬软件”，这表明现有软件架构不适合AI交互，大量的软件将被AI进行重写，新的人机协作模式需要全新设计，整个软件生态将经历深度重构。

我们正站在一个历史性的转折点上，软件3.0时代的到来将彻底改变我们创造、使用和思考软件的方式。这不仅仅是对于开发者、创业者和技术从业者而言，同样普通人，理解并拥抱这种变化将是在下一个十年中保持竞争力的关键。

二、LLM像“新型计算机”，但有“人类思维缺陷”

在讲解“How to think about LLMs”时，Karpathy引入了Andrew Ng的一句话，“AI是新的创造力”。

Karpathy就大型语言模型（LLMs）特性的核心观点，通过三个生动的类比来阐述LLMs在AI生态系统中的独特地位和作用机制。

01、LLM的"公用事业"特性

第一张图片将LLMs比作公用事业，特别是电力基础设施，这个类比揭示了AI基础设施的本质特征。

基础设施投资的相似性

• 巨额资本支出（CAPEX）：就像建设电网需要巨额投资，训练LLM也需要数百万到数十亿美元的前期投资

• 运营成本（OPEX）：电力系统需要持续的维护和运营，LLM服务也需要持续的计算资源和维护

• 按需计费：用户按消耗的电量付费，LLM用户也按token使用量付费，通常是每百万token约1美元

服务可靠性要求

• 高可用性需求：用户期望电力供应稳定，同样期望LLM服务的一致性和低延迟

• 质量一致性：电压必须保持稳定，LLM的输出质量也需要保持一致

OpenRouter：AI时代的"转换开关"

图片中提到的OpenRouter就像电力系统中的自动转换开关（ATS），当主要供应商出现问题时能够自动切换到备用供应商。这种机制确保了服务的连续性，就像数据中心使用转换开关来维护关键系统的正常运行一样。

智能"断电"现象

图片还提到了"智能断电"现象，类似电力系统的brownout（电压不足）。当OpenAI等主要LLM提供商出现服务中断时，整个AI生态系统都会受到影响，这与电网大面积停电的影响如出一辙。

---

02、LLMs的"制造工厂"属性

第二张图将LLMs比作半导体制造工厂（fabs），这个类比突出了AI训练的技术复杂性和资本密集性，很明显，LLMs的"制造工厂"属性是一个高门槛的象征。

技术门槛极高

• 深度技术专长：就像台积电的先进制程工艺需要顶尖技术，训练大型LLM也需要深厚的机器学习专业知识

• 工艺机密：半导体制造涉及大量商业机密，LLM训练也涉及深度的技术秘密和专有方法

资本密集特性

• 4nm工艺节点：代表最先进的制造技术，需要数百亿美元投资

• 10^20 FLOPS集群：表示训练LLM所需的巨大计算能力，xAI的Colossus集群使用了10万个H100 GPU

有厂&无厂模式

1、拥有制造能力的公司

• 定义：Google使用自研TPU训练模型，就像Intel拥有自己的晶圆厂

• 特点：这些公司控制整个生产流程，从硬件到软件完全自主

2、无厂设计公司

• 定义：大多数公司依赖NVIDIA GPU进行训练，类似"无厂设计"模式

• 特点：这种模式降低了进入门槛，但也带来了供应链依赖风险

图片还展示了xAI Colossus集群是这一概念的完美体现，该集群拥有10万个H100 GPU，代表了当前AI训练的最高水平，这个集群在122天内完成建设，展现了现代AI基础设施建设的速度和规模。

---

03、LLMs的"操作系统"特征

第三张图强调LLMs不仅仅是简单的工具，而是日益复杂的软件生态系统，具有操作系统的特征，大概率是AI重构软件生态格局的表现。

多样化的软件环境

• 图片展示了从Windows 11、macOS到各种Linux发行版的丰富操作系统生态

• 同样，不同的LLM提供不同的能力和特性，形成了多元化的AI操作系统环境

兼容性挑战

• 就像软件在不同操作系统上表现不同，同样的prompt在不同LLM上效果也会有差异

• 这种"切换摩擦"反映了不同AI平台间的特性、性能和能力差异

系统级vs用户级的类比

1、内核空间vs用户空间

• 传统操作系统中，系统调用将用户空间的请求转换为内核操作

• 在LLM系统中，prompt处理类似于系统调用，将自然语言请求转换为AI操作

2、上下文窗口as内存管理

• LLM的上下文窗口就像操作系统的内存管理，需要高效地管理和分配有限的"记忆"资源

这三幅无疑揭示了“LLMs正在从应用工具演进为基础设施平台”，正如电力从奢侈品变为必需品，AI智能也在经历同样的转变.

看来Karpathy很是认同“大型语言模型成为新一代计算平台”的观点，使用可视化的形式展示了LLM OS的完整系统架构，其中LLM作为系统的核心"CPU"，协调各种外围设备和服务，比如中央处理单元、工具集成。外围设备I/O、网络连接、存储系统。

再聊回之前已经很是流行的Vibe Coding编程模式，LLM OS使得编程不再是专业程序员的专利，任何人都可以通过自然语言与计算机交互，让创意和验证能力比技术技能更重要。

在第一章节快要结束的时候，Karpathy提到了一个有趣的有趣的历史轮回：LLM时代与1950-1970年代的大型机时代有惊人的相似之处。

为什么LLM时代与1950-1970年代的大型机时代有相似之处？

主要还是凸显的是时间共享计算模式：

1. 集中化计算：昂贵的计算资源集中提供服务，用户通过网络访问

2. 资源共享：多个用户共享同一计算平台的资源，按需分配

3. 网络传输：输入输出通过网络进行传输，类似终端连接到中央系统

PPT的前半部分不仅展示了一个技术架构，更描绘了一个关于未来计算范式的宏大愿景。

正如Karpathy所展示的，我们正站在计算历史的一个转折点上，软件3.0时代的到来将彻底改变我们创造、使用和思考软件的方式。