DeepSeek 本地部署完全方案：从环境搭建到推理优化

一、前言：为什么选择本地部署 DeepSeek

DeepSeek 系列模型在 2026 年持续迭代，V3 与 R1 版本在代码生成、逻辑推理、长文本理解等场景表现突出。虽然官方提供了在线 API 服务，但本地部署仍有不可替代的优势：

• 数据隐私：代码仓库、企业文档等敏感内容不出本地
• 无速率限制：批量推理、长时任务不受 API 配额约束
• 离线可用：断网环境依然正常工作
• 深度定制：可对接本地知识库、工作流引擎

本文覆盖 DeepSeek 主流模型的本地部署全流程，包括硬件选型、环境配置、量化推理、API 服务搭建与多端调用。

---

二、硬件选型：不同模型的显存需求

DeepSeek 模型参数量跨度大，从 1.3B 到 671B 不等，显存需求差异显著。先确认你的硬件能跑哪个版本：

模型版本	参数量	FP16 显存需求	INT4 量化后	推荐显卡
DeepSeek-V3	671B (37B 激活)	8×A100 80GB	2×4090 24GB	多卡/云服务器
DeepSeek-R1	671B (37B 激活)	同上	同上	同上
DeepSeek-V2.5	236B (21B 激活)	4×A100 80GB	1×4090 24GB	单卡可跑量化版
DeepSeek-Coder-V2	236B	同上	同上	同上
DeepSeek-V2-Lite	16B	32GB	10GB	RTX 3060 12GB
DeepSeek-R1-Distill-Qwen-7B	7B	14GB	5GB	RTX 3060 12GB
DeepSeek-R1-Distill-Qwen-1.5B	1.5B	3GB	1.5GB	GTX 1660 6GB

关键结论：

• 8GB 显存：可跑 1.5B 蒸馏版，基础对话可用
• 12GB 显存：可跑 7B 蒸馏版或 16B 量化版，体验较好
• 24GB 显存：可跑 236B 量化版，接近完整体验
• 多卡/云服务器：可跑完整 671B 模型

---

三、环境准备

3.1 基础环境

依赖	版本要求	安装方式
Python	3.10 - 3.12	官网下载 / Anaconda
CUDA Toolkit	12.1+	NVIDIA 官网
Git	最新版	winget install Git.Git
NVIDIA 驱动	>= 545	GeForce Experience 更新

3.2 创建虚拟环境

# 使用 conda 创建环境
conda create -n deepseek python=3.10 -y
conda activate deepseek

# 安装 PyTorch（CUDA 12.1）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

3.3 验证 CUDA 可用

import torch
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"GPU: {torch.cuda.get_device_name(0)}")
print(f"VRAM: {torch.cuda.get_device_properties(0).total_mem / 1024**3:.1f} GB")

输出类似：

CUDA available: True
GPU: NVIDIA GeForce RTX 4090
VRAM: 24.0 GB

---

四、方案一：Ollama 一键部署（推荐新手）

Ollama 是目前最简单的本地大模型部署方案，一行命令即可启动。

4.1 安装 Ollama

# Windows 直接下载安装包
winget install Ollama.Ollama

或从 ollama.com 下载安装包。

4.2 拉取并运行模型

# 7B 蒸馏版（12GB 显存推荐）
ollama run deepseek-r1:7b

# 1.5B 蒸馏版（8GB 显存可用）
ollama run deepseek-r1:1.5b

# 14B 蒸馏版（24GB 显存推荐）
ollama run deepseek-r1:14b

# DeepSeek-V3（需 24GB+ 显存跑量化版）
ollama run deepseek-v3

首次运行会自动下载模型，7B 版约 4.7GB。

4.3 API 服务模式

Ollama 安装后默认在 http://localhost:11434 启动 API 服务：

# 测试 API
curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:7b",
  "prompt": "用Python写一个快速排序",
  "stream": false
}'

4.4 Python 调用示例

import requests
import json

url = "http://localhost:11434/api/generate"

payload = {
    "model": "deepseek-r1:7b",
    "prompt": "用Python实现二叉树的前序遍历",
    "stream": False
}

response = requests.post(url, json=payload)
result = response.json()
print(result["response"])

---

五、方案二：vLLM 高性能推理（推荐进阶用户）

vLLM 适合需要高吞吐量、并发请求的场景，支持连续批处理和 PagedAttention。

5.1 安装 vLLM

pip install vllm

5.2 启动 OpenAI 兼容 API 服务

# 启动 DeepSeek-R1-Distill-Qwen-7B
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
  --dtype half \
  --max-model-len 4096 \
  --port 8000

5.3 兼容 OpenAI SDK 调用

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"  # 本地部署无需真实 key
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    messages=[
        {"role": "system", "content": "你是一个专业的Python开发助手。"},
        {"role": "user", "content": "写一个异步爬虫框架的代码骨架"}
    ],
    temperature=0.7,
    max_tokens=2048
)

print(response.choices[0].message.content)

5.4 性能调优参数

参数	作用	建议值
--max-model-len	最大上下文长度	根据显存调整，默认 8192
--gpu-memory-utilization	GPU 显存利用率	0.9（留 10% 给系统）
--tensor-parallel-size	张量并行卡数	多卡时设置，如 2/4
--quantization awq	AWQ 4bit 量化	显存不够时开启

---

六、方案三：llama.cpp CPU/GPU 混合推理

llama.cpp 适合没有高端显卡、或需要在 CPU 上跑模型的场景。

6.1 编译安装

# 克隆仓库
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# Windows + CUDA 编译
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

6.2 下载 GGUF 格式模型

从 HuggingFace 下载量化模型：

量化格式	体积（7B）	精度损失	适用场景
Q8_0	~7.7GB	极小	显存充足时首选
Q5_K_M	~5.1GB	较小	性价比最高
Q4_K_M	~4.4GB	可接受	显存紧张时选择
Q2_K	~3.1GB	明显	仅测试用

6.3 运行推理

# 纯 GPU 模式
./build/bin/llama-cli \
  -m DeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf \
  -ngl 99 \
  -c 4096 \
  --temp 0.7

# CPU + GPU 混合（GPU 层数可调）
./build/bin/llama-cli \
  -m DeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf \
  -ngl 20 \
  -c 4096

-ngl 参数控制卸载到 GPU 的层数，显存不够可降低此值。

---

七、对接 WebUI：Open WebUI 部署

命令行交互体验差，推荐部署 Open WebUI 获得类似 ChatGPT 的界面。

7.1 Docker 一键部署（搭配 Ollama）

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

7.2 访问与配置

1. 浏览器打开 http://localhost:3000
2. 注册管理员账号（本地使用，随意填写）
3. 设置 → 模型 → 自动检测到 Ollama 中的模型
4. 选择 deepseek-r1:7b，开始对话

7.3 非 Docker 安装

pip install open-webui
open-webui serve

访问 http://localhost:8080。

---

八、多卡并行与显存优化

8.1 多卡部署（vLLM）

双卡 4090 部署 236B 量化版：

python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-V2.5 \
  --quantization awq \
  --tensor-parallel-size 2 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.95 \
  --port 8000

8.2 低显存优化策略

策略	原理	适用场景
INT4/INT8 量化	降低模型精度换取显存	显存不足时的首选
KV Cache 量化	压缩注意力缓存	长上下文场景
PagedAttention	分页管理 KV Cache	vLLM 默认启用
CPU Offload	部分层卸载到内存	llama.cpp 支持
降低 max-model-len	缩短上下文窗口	短对话场景

---

九、常见问题排查

问题	原因	解决方案
CUDA out of memory	显存不足	换更大量化版本，或降低 max-model-len
生成速度极慢（<1 token/s）	跑在 CPU 上或量化过低	确认 -ngl 参数生效，换 Q5 以上量化
生成内容乱码/重复	量化精度损失严重	换 Q5_K_M 或 Q8_0 量化版本
Ollama 下载超时	HuggingFace 国内访问慢	设置 OLLAMA_HOST 环境变量指向镜像
vLLM 启动卡住	模型下载中断	删除 ~/.cache/huggingface/ 对应目录重试
Open WebUI 连不上 Ollama	Docker 网络隔离	确认 --add-host=host.docker.internal:host-gateway

---

十、选型决策树

1. 只想快速体验 → Ollama + deepseek-r1:7b，5 分钟搞定
2. 需要 API 对接业务 → vLLM，OpenAI 协议兼容
3. 没有高端显卡 → llama.cpp + Q4/Q5 量化，CPU 也能跑
4. 想要 ChatGPT 界面 → Ollama + Open WebUI
5. 企业级高并发 → vLLM + 多卡 + AWQ 量化

---

十一、学习资源

本地部署只是起点，DeepSeek 的深度使用还涉及 Prompt 工程、Agent 工作流、RAG 知识库对接等方向。我整理了一份 DeepSeek 及 AIGC 全栈学习资源合集，涵盖从入门到实战的完整路径。

资源获取：留言"DeepSeek"，我会把整理好的教程索引与部署手册发给你。

---

十二、总结

DeepSeek 本地部署的核心思路：根据硬件选模型，根据场景选框架。新手用 Ollama 快速上手，进阶用 vLLM 做服务化，低配用 llama.cpp 弯道超车。三种方案都支持 OpenAI 兼容 API，可以随时切换，不必在一棵树上吊死。

实际部署中遇到的问题，欢迎评论区交流。

---

声明：本文涉及的技术资源均来源于开源社区公开分享，仅供学习与技术研究使用。

---

作者：赛博仓鼠
更新日期：2026-06-25
最后修订：补充 Ollama 部署步骤与多卡并行方案