Ollama 本身的内存占用非常小，实际占多少内存/显存，几乎完全取决于你运行的模型。以下是详细说明：

🔹 1. Ollama 本体占用

• 后台守护进程：通常仅 50～200 MB RAM
• 不加载任何模型时，几乎可以忽略不计

🔹 2. 模型内存/显存参考（量化后）

Ollama 默认使用 llama.cpp 推理引擎，内存消耗 ≈ 模型参数量 × 量化系数 + KV Cache（上下文）开销

💡 注：

• Q4 表示 4-bit 量化，是目前精度与体积平衡最好的选择；若用 FP16 未量化版本，内存需求约翻倍。
• 显存（VRAM）优先：Ollama 会优先将模型加载到 GPU 显存；显存不足时自动 fallback 到系统内存（RAM），但推理速度会显著下降。
• 上下文长度：默认通常为 2048 或 4096 tokens。若设置到 8K/32K，KV Cache 会额外占用 1～4 GB 不等（随模型规模增大而增加）。

🔹 3. 如何查看当前占用？

# 查看正在运行的模型及占用
ollama ps

# 查看 GPU 显存（NVIDIA）
nvidia-smi

# 查看系统内存/CPU 使用
htop / top / 任务管理器

🔹 4. 内存管理技巧

• 及时释放：模型默认会在闲置 5 分钟 后自动卸载。可手动卸载：

  ollama stop <模型名>

• 调整保持时间：设置环境变量 OLLAMA_KEEP_ALIVE=0 可让模型执行完立即释放（默认 5m，可设为 10m、2h 等）
• 多模型共存：同时运行多个模型会累加内存占用，低配设备建议一次只跑一个。
• 下载 vs 运行：ollama pull 仅占用磁盘空间；只有 ollama run 或 API 调用时才会占用内存。

✅ 选模型建议（按内存配置）

• 8GB RAM/VRAM → 1.5B～7B（Q4）
• 12～16GB → 7B～14B（Q4/Q5）
• 24GB+ → 13B～34B（Q4）
• 48GB+ 或 双卡 → 70B（Q4）