Ubuntu：

这里选用 vllm 的方案，引出 API 方便调用

安装环境

我使用的环境 Ubuntu20.04, Python 3.10, Pytorch 2.0.0, CUDA 11.7, cuDNN 8

如果嫌这步麻烦可以直接使用大厂提供的 GPU 云服务

sudo apt update  #更新软件包列表
sudo apt install git #安装 git

检查显卡驱动，如返回方框信息则成功

lspci | grep -i nvidia
nvidia-smi

上一步返回值中有 CUDA Version 字段，根据版本到 CUDA Toolkit Archive | NVIDIA Developer 获取下载命令
安装 cuda：

sudo sh cuda_11.7.0_515.43.04_linux.run #根据对应文件名修改

取消勾选驱动（如果已经安装，没有安装可以直接通过此处安装）

配置环境变量：

nano ~/.bashrc

文件末添加

export PATH=/usr/local/cuda-11.7/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH

保存退出，然后运行：

source ~/.bashrc

验证安装：

nvcc --version

安装 cuDNN

根据 cuda 版本下载对应安装包

cuDNN

解压文件

tar -xzvf cudnn-11.7-linux-x64-v8.x.x.x.tgz 

复制对应文件到目录

sudo cp cuda/include/cudnn*.h/usr/local/cuda-11.7/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.7/lib64
sudo chmod a+r /usr/local/cuda-11.7/include/cudnn*.h/usr/local/cuda-11.7/lib64/libcudnn

验证安装：

cat /usr/local/cuda-11.7/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

安装 pytorch (后面链接需要根据 cuda 版本变动)

pip install torch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 --index-url https://download.pytorch.org/whl/cu117

验证安装，执行如下 Python 代码

import torch
print (torch.__version__)  # 检查 PyTorch 版本
print (torch.cuda.is_available ())  # 如果返回 True，说明 GPU 可用
print (torch.version.cuda)         # 查看 PyTorch 使用的 CUDA 版本

拉取及运行模型

如果网络环境不好可以从魔搭社区拉取模型

sudo apt-get install git-lfs #安装 git-lfs
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

安装 vllm

pip install vllm

运行模型：

vllm serve "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B" # 如从上文拉取模型此处需要填写文件夹路径

简单验证一下效果：

curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
		"messages": [
			{
				"role": "user",
				"content": "你是谁？"
			}
		]
	}'

Windows

检查显卡驱动，使用 cmd 运行

nvidia-smi

根据系统下载对应安装包

ollama

下载完后可以无脑下一步，如需指定安装目录可以使用

OllamaSetup.exe/DIR="d:\some\location"

打开设置 → 系统 → 系统信息 → 高级系统设置 → 环境变量 - 添加一个新的系统变量
OLLAMA_MODELS，可指定模型下载的目录。

WIN+R 键输入 CMD, 然后运行

ollama run deepseek-r1:7b

等待进度跑满即可使用
为了方便这里我们可以安装一个 open-webui，这里提供安装方式，不再赘述。
docker 安装：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

pip 安装

pip install open-webui
open-webui serve