Ollama 的作用可：让你在本地像“调用 API 一样运行大模型”

视频讲解

Ollama = “本地大模型运行 + API 服务封装器”

Open WebUI

主流大模型部署方式

Ollama

vLLM

视频讲解

TGI（HuggingFace 推理服务）

LM Studio（GUI 本地运行）

llama.cpp（极致轻量 CPU 部署）

LLM、推理框架到底是什么关系。

👉 LLM 是“脑子（模型）”
👉 推理框架是“让脑子能工作起来的发动机 + 操作系统”
在大模型系统里，其实是三层：
① 模型（LLM权重）
② 推理框架（Inference Engine）
③ 应用（Web UI / API / Chat
❗ LLM 不是软件
❗ LLM 是“数据（权重）”
👉 推理框架才是“运行系统”

模型 = 文件（权重）
推理框架 = 运行这个文件的程序

👉 LLM 是模型的一种
👉 模型只是“参数文件”
👉 推理框架才是真正运行模型的系统

模型（Model）是什么？任何机器学习训练出来的函数”

LLM 是什么？一堆参数（几十 GB），不会自己运行，只是数学函数，只是文件

为什么不能直接用模型？
因为模型文件本身：
❌ 不会接收 HTTP 请求
❌ 不会管理 GPU
❌ 不会做并发
❌ 不会 batch
❌ 不会 stream 输出
👉 换句话说：
模型 ≠ 可运行服务

推理框架是什么？运行模型的引擎

显存分配 / KV cache？？？

应用层是什么？把输入发给模型，把输出展示给用户”

量化 把“模型参数精度降低”，换取更快更省显存

蒸馏：用“大模型的输出结果当输入

蒸馏：
把问题交给大模型 ， 让它生成“标准回答” ， 用这些回答训练小模型