【学习笔记】端侧大模型：Phi、Gemma 与小模型逆袭（33/35）
前 32 篇我们讲的大部分内容都是云端部署——大集群、大显存、大功率。
这一篇换个视角：端侧大模型。也就是在手机、笔记本、嵌入式设备上跑 LLM。
为什么这件事在 2026 年突然重要？三个变化叠加：
-
小模型变强：Phi-4-mini 3.8B 在多项任务超 Llama-2-70B
-
推理蒸馏：R1-Distill-1.5B 推理能力超 GPT-4o
-
硬件升级：iPhone 17 Pro NPU + M4 Max 64GB + Copilot+ PC 普及
云端大模型 + 端侧小模型 = 2026 年的标准 AI 应用架构。
如果你做过相关工作，下面这些问题应该不陌生：
-
手机能跑多大的模型？速度怎么样？
-
Phi、Gemma、Qwen 小尺寸到底哪个强？
-
iOS / Android / Mac / Windows 各自的端侧方案？
-
浏览器里能跑 LLM 吗？WebGPU 现在到什么程度了？
-
端侧 vs 云端，业务怎么分？
读完本文你将能：
-
区分主流端侧小模型的能力与适用场景
-
选对端侧部署技术栈
-
设计端云协同的 AI 应用架构
-
评估端侧化的成本收益
我们开始。
一、端侧大模型为什么 2026 年才"真正可用"
1.1 端侧 AI 的 4 个驱动因素
1. 隐私 ── 数据完全不出设备
2. 离线 ── 不依赖网络
3. 延迟 ── 没有网络往返
4. 成本 ── 服务端零成本这些诉求一直存在。但直到 2024-2026 年才真正满足：
|
时间 |
能在 iPhone 跑的模型 |
速度 |
|
2023.06 |
LLaMA-1 7B Q4 |
1-2 tok/s（不可用） |
|
2024.01 |
Phi-2 2.7B Q4 |
8 tok/s |
|
2024.12 |
Qwen2.5-7B Q4 |
15 tok/s |
| 2025.10 | Phi-4-mini Q4 | 35 tok/s
⭐ |
| 2026.05 | Qwen3-3B Q4 + R1-Distill | 40+ tok/s
⭐ |
关键转折点：2025 年。从此手机跑 LLM 从"实验"变成"产品"。
1.2 三股力量推动小模型逆袭
力量 1：数据精炼
Phi 系列证明：用"教科书级"合成数据训练小模型，能干掉用网络数据训练的大模型。
Phi-1.5（1.3B）→ 接近 Llama-7B
Phi-2（2.7B） → 接近 Llama-13B
Phi-3.5-mini（3.8B）→ 接近 Mixtral 8x7B
Phi-4-mini（3.8B）→ 接近 Llama-2-70B3.8B 模型逐步追平 70B——这就是数据精炼的威力。
力量 2：推理模型蒸馏
R1-Distill 让小模型也能强推理（第 32 篇讲过）：
R1 (671B) → R1-Distill-7B → R1-Distill-1.5B（手机能跑）手机推理模型正在成为可能。
力量 3：硬件升级
|
硬件 |
NPU 算力 |
内存 |
|
iPhone 17 Pro（2025） |
35 TOPS |
16 GB |
|
Snapdragon 8 Gen 5 (2025) |
48 TOPS |
12-16 GB |
|
Apple M4 Max |
38 TFLOPS |
128 GB |
|
Copilot+ PC（X Elite Gen 2） |
80 TOPS |
32 GB |
|
RTX 5090 笔记本 |
250 TFLOPS |
24 GB |
关键认知：
2026 年的手机算力 ≈ 2019 年的数据中心 GPU。
二、主流端侧大模型
2.1 5 大主流系列（2026 中）
Phi 系列（微软）
-
Phi-4-mini (3.8B)：综合最强小模型
-
Phi-4-mini-reasoning：带推理能力的端侧首选
-
Phi-4 (14B)：可在 16GB 笔记本跑
特点：
-
主合成数据训练
-
数学 / 代码能力强
-
中文一般
Gemma 系列（Google）
-
Gemma 3 1B / 4B / 12B
-
多模态（视觉）支持
-
移动端优化
特点：
-
与 Gemini 同源
-
推理速度快
-
多语言支持
Qwen3 小尺寸（阿里）
-
Qwen3-0.6B / 1.7B / 4B / 8B
-
中文最强小模型 ⭐
-
MoE 小版本：Qwen3-MoE-A3B
特点：
-
中英文均衡
-
Tokenizer 中文优化
-
工具调用强
Llama 4 小尺寸（Meta）
-
Llama 4 Scout（17B 激活 / 109B MoE）
-
标准小 LLM 仍在 Llama 3.x 系列
特点：
-
开源生态最广
-
中文一般
MiniCPM 系列（面壁智能）
-
MiniCPM 4 (8B)
-
主打端侧
-
多模态版本（MiniCPM-V）
特点：
-
国产端侧首选
-
量化优化好
2.2 端侧能力实测（2026.05）
测试硬件：iPhone 17 Pro / Android 旗舰
|
模型 |
大小 |
iOS 速度 |
中文 |
英文 |
数学 |
代码 |
|
Qwen3-0.6B Q4 |
0.4 GB |
70 tok/s |
⭐⭐⭐ |
⭐⭐ |
⭐⭐ |
⭐⭐ |
|
Qwen3-1.7B Q4 |
1.0 GB |
50 tok/s |
⭐⭐⭐⭐ |
⭐⭐⭐ |
⭐⭐⭐ |
⭐⭐⭐ |
|
Phi-4-mini Q4 |
2.0 GB |
40 tok/s |
⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
|
Qwen3-4B Q4 |
2.3 GB |
35 tok/s |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
|
Gemma 3-4B Q4 |
2.4 GB |
32 tok/s |
⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐ |
⭐⭐⭐ |
| R1-Distill-1.5B Q4 |
0.9 GB |
55 tok/s |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
|
Qwen3-7B Q4 |
4.2 GB |
18 tok/s（紧张） |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
关键观察：
-
手机最佳点 = 2-4 GB 模型（速度 + 质量平衡）
-
中文应用首选 Qwen3-4B
-
推理任务首选 R1-Distill-1.5B（小且推理强）
-
7B+ 在手机上勉强（速度 + 内存压力）
三、端侧部署技术栈
3.1 跨平台总览
┌──────────────────────────────────┐
│ iOS / iPadOS │
│ └─ MLX / Core ML / Executorch │
├──────────────────────────────────┤
│ Android │
│ └─ MediaPipe / ExecuTorch / TFLite │
├──────────────────────────────────┤
│ macOS │
│ └─ MLX / llama.cpp / Ollama │
├──────────────────────────────────┤
│ Windows │
│ └─ DirectML / ONNX / Ollama │
├──────────────────────────────────┤
│ 浏览器 │
│ └─ WebLLM / WebGPU │
├──────────────────────────────────┤
│ 嵌入式 / 物联网 │
│ └─ llama.cpp / TFLite Micro │
└──────────────────────────────────┘3.2 iOS / iPadOS
MLX（Apple 官方）
第 18 篇讲过——Apple Silicon 的最佳选择：
# Python（用于开发 / Mac）
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen3-4B-Instruct-4bit")
output = generate(model, tokenizer, "你好", max_tokens=100)// Swift（用于 iOS App）
import MLX
import MLXLMCommon
let model = try await loadModel("Qwen3-4B-Instruct-4bit")
let response = try await model.generate(prompt: "你好", maxTokens: 100)Core ML
Apple 推理框架（不限于 LLM）。LLM 支持在 2024 后逐渐成熟。
适合：与 Apple ecosystem 深度集成的应用。
Executorch
PyTorch 在端侧的官方方案，跨平台（iOS + Android）。
3.3 Android
Google MediaPipe
// Android Kotlin
val llmInference = LlmInference.createFromOptions(
context,
LlmInferenceOptions.builder()
.setModelPath("/path/to/gemma-3-4b-int4.task")
.setMaxTokens(1024)
.build()
)
val response = llmInference.generateResponse("你好")支持模型：Gemma 系列、部分 Llama / Qwen。
ExecuTorch（PyTorch 官方）
跨平台部署 PyTorch 模型，含 Android 支持。
TFLite
老牌端侧框架，LLM 支持有限。
3.4 macOS
Mac 是端侧大模型的性能王者：
|
方案 |
适合 |
| MLX |
性能最强（M 系列） |
| Ollama |
易用 |
| LM Studio |
GUI |
| llama.cpp |
底层定制 |
M4 Max 64GB 跑 Qwen3-32B Q4 约 30 tok/s——笔记本就能跑专业模型。
3.5 Windows
DirectML
Windows 原生 GPU 推理框架。
Ollama / LM Studio
跨平台方案在 Windows 也好用。
Copilot+ PC（高通 X Elite / Snapdragon X2）
微软推的 40+ TOPS NPU 笔记本，2025 起普及：
-
原生跑 SLM（Small Language Model）
-
Phi-4 / Gemma 系列优化
-
Windows 11 集成 AI 能力
3.6 浏览器
WebLLM
import { CreateMLCEngine } from "@mlc-ai/web-llm";
const engine = await CreateMLCEngine("Qwen3-4B-Instruct-q4f16_1-MLC", {
initProgressCallback: (info) => console.log(info.text),
});
const response = await engine.chat.completions.create({
messages: [{ role: "user", content: "你好" }],
});WebGPU 是关键——2024 年后主流浏览器都支持。
实测（Chrome on M3 Mac）：
-
Qwen3-1.7B 在浏览器跑 30 tok/s
-
无需任何后端
适合：
-
隐私要求极高的网页应用
-
零后端成本
-
不想装 App 的轻量场景
3.7 嵌入式 / 物联网
llama.cpp 在树莓派 / Jetson Nano 上也能跑：
-
Raspberry Pi 5（8GB）：Qwen3-1.7B Q4 约 4 tok/s
-
Jetson Orin Nano：Phi-4-mini Q4 约 25 tok/s
适合：智能音箱、机器人、智能玩具。
3.8 浏览器端模型分发
第 23 篇我们讲过模型分发——端侧也有专门方案：
-
HuggingFace Spaces：CDN 分发
-
MLC AI：浏览器优化版
-
Cloudflare R2 + WebGPU：自定义 CDN
四、端侧应用场景
4.1 已经成熟的应用
|
应用 |
模型 |
业务价值 |
| 本地 AI 助手
（Apple Intelligence / Bixby） |
Phi / Gemma |
隐私 + 即时 |
| 离线翻译 |
Qwen-Mobile |
国际出行 |
| 写作辅助 |
Gemma 系列 |
续写 / 改写 |
| Code Completion |
Phi-coder / Qwen-Coder mini |
IDE 自动补全 |
| 客服 SDK 嵌入 |
各家小模型 |
数据不出 |
| 智能家居 |
MiniCPM / Qwen3 mini |
隐私 + 响应快 |
4.2 Apple Intelligence 案例
Apple 2025 完整推出 Apple Intelligence：
-
iPhone / iPad / Mac 原生集成
-
端侧 ~3B 模型（部分能力路由到云）
-
隐私架构：端侧能搞定的不发云
架构：
用户请求
↓
端侧路由器（< 1B 模型）
├─ 简单任务 → 端侧 ~3B 模型直接处理
└─ 复杂任务 → 苹果云（Private Cloud Compute）
└─ 极端复杂 → 用户授权后调 ChatGPT这是端云协同的教科书级架构。
4.3 Copilot+ PC
微软 2025 推全系 Copilot+ PC：
-
40+ TOPS NPU 标配
-
Phi 系列原生集成
-
Recall 功能：本地分析用户操作
-
离线 AI 能力
五、端云协同：未来的标准架构
5.1 分层路由
核心思想：根据任务复杂度，决定用端侧还是云端：
async defhybrid_route(request):
# 1. 端侧小模型判断复杂度
complexity = await on_device_classifier(request)
if complexity == "trivial":
# 简单聊天 / 翻译 / 摘要 → 端侧 1B 模型
returnawait on_device_tiny.complete(request)
elif complexity == "medium":
# 中等复杂度 → 端侧 4B 模型
returnawait on_device_medium.complete(request)
else: # "complex"
# 复杂推理 / 多模态 / 长上下文 → 云端
returnawait cloud_api.complete(request)5.2 路由优势
|
维度 |
全云方案 |
端云协同 |
|
隐私 |
差 |
好
⭐ |
|
响应速度 |
中（网络往返） |
快
⭐ |
|
离线能力 |
无 |
强
⭐ |
|
服务端成本 |
高 |
降 60-80%
⭐ |
|
复杂任务质量 |
强 |
同上 |
实测：把简单任务路由到端侧后，云端 token 消耗降 70%+。
5.3 应用架构示例
[用户设备]
├─ 端侧路由模型（0.5B）
├─ 端侧主力模型（4B）
├─ 端侧向量库（私有数据）
└─ 端侧记忆库
↓
网关（决策端 / 云）
↓
[云端]
├─ 大模型 API（Claude / GPT / DeepSeek）
├─ 中央知识库（RAG）
└─ Agent 工具集5.4 真实业务案例：智能助手
某团队设计的混合架构：
-
80% 请求：端侧 Qwen3-4B 处理（聊天、查询、简单工具）
-
15% 请求：端侧 + 云端协同（RAG 检索发起到云）
-
5% 请求：云端推理模型（复杂规划）
效果：
-
平均延迟从 1.2s 降到 0.3s
-
月 API 账单降 75%
-
隐私合规通过 ✓
六、端侧部署的工程挑战
6.1 内存压力
手机内存有限：
-
iPhone 17 Pro：16 GB（应用可用约 6-8 GB）
-
Android 旗舰：12-16 GB
对策：
-
模型 Q4 量化（4B 模型约 2 GB）
-
启动时按需加载（不要常驻）
-
后台时释放
6.2 电池消耗
LLM 推理是高功耗操作：
iPhone 17 Pro 持续推理 10 分钟
约消耗 5% 电量对策：
-
大模型只在用户主动调用时启动
-
优先用 NPU（比 GPU 省电）
-
短回复 / 节流
6.3 启动延迟
模型加载到内存需要时间：
-
4B Q4 模型加载：约 2-3 秒（NVMe SSD）
-
7B Q4 模型加载：约 5-8 秒
对策：
-
应用启动时后台预加载
-
内存 mmap（按需读取）
-
选小一点的模型
6.4 模型分发
让用户首次下载 2GB 模型不是好体验。
对策：
-
应用安装包不含模型，首次启动联网下载
-
增量更新（只下载 diff）
-
CDN 加速分发
6.5 跨平台一致性
iOS / Android / Mac / Windows 各有方案，输出一致性难保证。
对策：
-
用同一份 GGUF / MLX 权重
-
关键场景做交叉测试
-
业务侧抽象 API，隔离平台差异
七、端侧大模型的未来
7.1 当下趋势
7.1.1 小模型继续变强：4B 追上 70B 是趋势
7.1.2 推理模型蒸馏：R1-Distill 风格普及
7.1.3 多模态小模型：视觉 + 语音 + 文本端侧融合
7.1.4 NPU 算力翻倍：每代旗舰芯片
7.1.5. OS 原生集成：Apple Intelligence / Android AI / Windows Copilot
7.2 未来 3 年预判
|
时间 |
端侧能力预判 |
|
2026 末 |
旗舰手机标配 4B 模型 |
|
2027 |
7B 模型在手机流畅运行 |
|
2028 |
端侧推理模型成熟 |
|
2029 |
端侧多模态（图文音）一体化 |
7.3 业务影响
-
云端 LLM 推理需求增速放缓（部分场景被端侧吃掉）
-
AI 应用形态转向"端云协同"
-
隐私合规成本下降（数据本地化）
-
AI 工程师必须懂端侧栈
八、避坑
8.1 坑 1：盲目追新
对策：不是所有手机都能跑 4B 模型，要做硬件分级。
8.2 坑 2：模型选择错误
对策：中文场景必选 Qwen，英文 + 数学优先 Phi。
8.3 坑 3：忽视量化精度
对策：Q4_K_M 是甜蜜点，不要再降。
8.4 坑 4：电池被骂
对策：明确告诉用户"开启 AI 会耗电"，提供节能模式。
8.5 坑 5：首次下载体验差
对策：渐进式下载 + 友好提示 + 备用云模式。
8.6 坑 6：忽视云端备份
对策：低端机 / 旧机型 fallback 到云端。
九、结语：端侧大模型是 AI 进入「日常生活」的桥梁
1、2026 是端侧大模型真正可用的元年
2、Phi / Gemma / Qwen3 小尺寸 / R1-Distill 是当下主力
3、中文优先 Qwen3，推理优先 R1-Distill，英文 + 代码优先 Phi
4、手机最佳点是 2-4 GB 模型
5、端云协同是 2026 年的标准架构（80% 端、20% 云）
6、NPU 算力翻倍 + 小模型变强 = 端侧 AI 时代来临
参考文献：
欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。
更多推荐
2
0- 0
已为社区贡献7条内容
所有评论(0)