vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/

Python_金钱豹

2125人浏览 · 2025-03-11 17:42:56

Python_金钱豹 · 2025-03-11 17:42:56 发布

一、vLLM 部署 DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill 系列模型是 DeepSeek-R1 的蒸馏模型，官方提供了从 1.5B - 70B 不同尺寸大小的模型。特别适合在计算资源有限的环境中部署。

DeepSeek-R1 各个版本的蒸馏模型评估结果如下：

其中 DeepSeek-R1-Distill-Qwen-32B 是通过对 Qwen2.5-32B 模型进行蒸馏得到的版本。该模型在评估结果中整体表现优异，在多项测试中均超过 GPT-4o-0513、o1-mini 、Claude-3.5-Sonnet-1022，且在 DeepSeek-R1-Distill 系列中效果和 DeepSeek-R1-Distill-Llama-70B 相差不大，但参数量近乎是 DeepSeek-R1-Distill-Llama-70B 的一半只有 32B大小，因此可谓是本地部署的绝佳选择。

本次实验就基于 DeepSeek-R1-Distill-Qwen-32B 模型本地私有化部署，其中推理优化框架采用 vLLM。

vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。

vLLM 环境部署好后，首先使用 modelscope 下载 DeepSeek-R1-Distill-Qwen-32B 模型到指定目录下：

modelscope download --model="deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" --local_dir DeepSeek-R1-Distill-Qwen-32B

然后使用 vLLM 读取模型启动API服务。

注意：下面参数需要依据自己的算力环境适当修改：

export CUDA_VISIBLE_DEVICES=0,1      vllm serve "DeepSeek-R1-Distill-Qwen-32B" \     --host 0.0.0.0 \     --port 8060 \     --dtype bfloat16 \     --tensor-parallel-size 2 \     --cpu-offload-gb 0 \     --gpu-memory-utilization 0.8 \     --max-model-len 8126 \     --api-key token-abc123 \     --enable-prefix-caching     --trust-remote-code

关键参数说明：

export CUDA_VISIBLE_DEVICES=0,1 ：指定所使用的GPU，由于我本地有两块，这里指定了 0,1 , 如果只有一块的情况下可指定 0
dtype: 数据类型，其中 bfloat16，16位浮点数，适合 NVIDIA A100 等设备。
tensor-parallel-size：Tensor 并行的数量，当多 GPU 分布式推理时使用，建议和GPU的数量一致。
cpu-offload-gb：允许将部分模型权重或中间结果卸载到 CPU 的内存中，单位为 GB。，模拟 GPU 内存扩展，如果部署的模型大于了显存大小可以设置该参数，但是推理速度会大大下降。
gpu-memory-utilization：设置 GPU 内存利用率的上限。
max-model-len：允许模型最大处理的Token数，该参数越大占用显存越大。
enable-prefix-caching：启用前缀缓存减少重复计算。

显存占用情况：

基于以上配置启动后，整体大概占用了 79.2G 显存。如果启动显存不足，可适当调整 gpu-memory-utilization 和 max-model-len 参数，或通过 cpu-offload-gb 将部分模型权重卸载到内存中。

启动成功后，通过 /v1/models 接口可查看模型列表：

curl http://localhost:8060/v1/models -H "Authorization: Bearer token-abc123"

测试API交互：

curl http://localhost:8060/v1/chat/completions \       -H "Content-Type: application/json" \       -H "Authorization: Bearer token-abc123" \       -d '{           "model": "DeepSeek-R1-Distill-Qwen-B",           "messages": [               {"role": "system", "content": "You are a helpful assistant."},               {"role": "user", "content": "你好，介绍一下你自己"}           ]       }'

在这里插入图片描述

二、Open-WebUI 部署

Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。

Github 地址：

https://github.com/open-webui/open-webui

1. 部署

下载 open-webui 依赖：

pip install open-webui

启动 open-webui ：

open-webui serve --port=4096

启动成功后，浏览器访问：http://ip:4096/ 即可打开 Open-WebUI 页面。

首次进入需要设置管理员账号密码，设置完毕后，进入到如下所示主页：

2. 连接 `DeepSeek-R1-Distill-Qwen-32B` 模型。

点击左下角进入管理员面板：

将 OpenAI API 和 Ollama API 关闭，前提如果你有这两个连接的话，可以开启。然后保留 直接连接 的开启：

然后再次点击左下角进入设置：

在外部链接中添加上面 vLLM 的服务：

模型ID 可以留空，会自动从 /v1/models 接口中获取。

保存后，点击左上角 新对话 ，即可看到默认选择了 DeepSeek-R1-Distill-Qwen-32B 模型：

三、对话测试

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述