vLLM完全开发指南：从原理到实践的高性能LLM服务部署
在LLM推理引擎的选择上，vLLM和Ollama是两个常见的选项。DeepSeek-R1-Distill-Qwen-32B模型在Ollama和vLLM框架下的显存占用、存储需求及性能对比下载DeepSeek模型创建模型存放目录下载DeepSeek-R1-Distill-Llama-70B模型。
vLLM vs Ollama：对比分析
在LLM推理引擎的选择上，vLLM和Ollama是两个常见的选项。对比如下：
| 对比维度 | Ollama | vLLM | 备注 |
|---|---|---|---|
| 量化与压缩策略 | 默认采用4-bit/8-bit量化，显存占用降至25%-50% | 默认使用FP16/BF16精度，保留完整参数精度 | Ollama牺牲精度换显存，vLLM牺牲显存换计算效率 |
| 优化目标 | 轻量化和本地部署，动态加载模型分块，按需使用显存 | 高吞吐量、低延迟，预加载完整模型到显存，支持高并发 | Ollama适合单任务，vLLM适合批量推理 |
| 显存管理机制 | 分块加载+动态缓存，仅保留必要参数和激活值 | PagedAttention+全量预加载，保留完整参数和中间激活值 | vLLM显存占用为Ollama的2-5倍 |
| 硬件适配 | 针对消费级GPU（如RTX 3060）优化，显存需求低 | 依赖专业级GPU（如A100/H100），需多卡并行或分布式部署 | Ollama可在24GB显存运行32B模型，vLLM需至少64GB |
| 性能与资源平衡 | 显存占用低，但推理速度较慢（适合轻量级应用） | 显存占用高，但吞吐量高（适合企业级服务） | 量化后Ollama速度可提升，但仍低于vLLM |
| 适用场景 | 个人开发、本地测试、轻量级应用 | 企业级API服务、高并发推理、大规模部署 | 根据显存和性能需求选择框架 |
| 总结 | 适合个人开发和轻量级应用 | 适合企业级服务和高并发场景 |
DeepSeek-R1-Distill-Qwen-32B模型对比
DeepSeek-R1-Distill-Qwen-32B模型在Ollama和vLLM框架下的显存占用、存储需求及性能对比
| 指标 | Ollama (4-bit) | vLLM (FP16) | 说明 |
|---|---|---|---|
| 显存占用 | 19-24 GB | 64-96 GB | Ollama 采用 4-bit 量化，大幅压缩参数显存占用；vLLM 需保留完整 FP16 参数及激活值，显存需求较高。 |
| 存储空间 | 20 GB | 64 GB | Ollama 存储量化后的模型，体积更小；vLLM 存储原始 FP16 精度模型，存储需求更大。 |
| 推理速度 | 较低（5-15 tokens/s） | 中高（30-60 tokens/s） | Ollama 由于量化导致计算效率降低，推理速度较慢；vLLM 通过批处理和并行优化显著提升吞吐量。 |
| 硬件门槛 | 高端消费级 GPU（≥24GB） | 多卡专业级 GPU（如 2×A100 80GB） | Ollama 可在单张高端消费级 GPU 上勉强运行；vLLM 需要多卡并行或分布式部署，依赖专业级 GPU 以发挥最佳性能。 |
安装与使用：
-
下载DeepSeek模型
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple -
创建模型存放目录
mkdir -p /data/deepseek-ai/models/deepseek-70b -
下载DeepSeek-R1-Distill-Llama-70B模型
modelscope download --local_dir /data/deepseek-ai/models/deepseek-70b --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B
docker部署
下载 Docker 二进制包
Docker 官方网站下载二进制包文件
wget https://download.docker.com/linux/static/stable/x86_64/docker-26.1.4.tgz
解压 Docker 压缩包
tar -zxvf docker-26.1.4.tgz
移动二进制文件到系统目录
mv docker/* /usr/bin/
创建 Docker 用户和组
-
创建 Docker 组
groupadd docker -
创建 Docker 用户，并将其添加到 Docker 组
useradd -s /sbin/nologin -M -g docker docker
配置 Docker 服务
创建并配置 docker.service 文件
-
打开或创建
docker.service文件vim /usr/lib/systemd/system/docker.service -
添加以下内容：
[Unit] Description=Docker Application Container Engine Documentation=https://docs.docker.com After=network-online.target firewalld.service Wants=network-online.target [Service] Type=notify ExecStart=/usr/bin/dockerd ExecReload=/bin/kill -s HUP $MAINPID LimitNOFILE=infinity LimitNPROC=infinity TimeoutStartSec=0 Delegate=yes KillMode=process Restart=on-failure StartLimitBurst=3 StartLimitInterval=60s [Install] WantedBy=multi-user.target
配置国内 Docker 镜像加速
-
创建 Docker 配置目录：
mkdir -p /etc/docker -
打开或创建
daemon.json文件：vim /etc/docker/daemon.json -
添加以下内容：
{ "registry-mirrors": ["https://docker.rainbond.cc"] }
启动 Docker 服务
-
启动 Docker 服务
systemctl start docker -
设置 Docker 服务开机启动
systemctl enable docker
验证 Docker 安装
-
查看 Docker 版本
docker -v
vLLM容器化部署指南
环境准备
-
更新软件包列表并安装NVIDIA容器工具包
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit -
配置NVIDIA容器运行时
sudo nvidia-ctk runtime configure --runtime=docker -
重加载系统服务并重启Docker
sudo systemctl daemon-reload sudo systemctl restart docker -
下载vllm/vllm-openai容器
docker pull vllm/vllm-openai -
查看vllm/vllm-openai容器
docker images
启动vLLM容器
docker run -itd --restart=always --name vllm_ds70 \
-v /data/deepseek-ai:/data \
-p 18005:8000 \
--gpus all \
--ipc=host \
vllm/vllm-openai:latest \
--dtype bfloat16 \
--served-model-name DeepSeek-R1-Distill-Llama-70B \
--model "/data/models/deepseek-70b" \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 8 \
--max-model-len 30000 \
--api-key token-abc123参数解释：
curl http://192.168.1.34:18005/v1/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer token-abc123" \-d '{"model": "DeepSeek-R1-Distill-Llama-70B","prompt": "北京的著名景点有哪些","max_tokens": 1000,"temperature": 0.3}'
-
--restart=always
：容器退出后自动重启，除非显式停止或dockerd服务重启。
-
--name vllm_ds70
为容器指定一个名称，便于后续管理和操作。
-
-v /data/deepseek-ai:/data
将主机上的/data/deepseek-ai目录挂载到容器的/data目录，用于存储模型文件和数据。
-
-p 18005:8000
将容器的8000端口映射到主机的18005端口，用于通过主机端口访问容器内的服务。
-
-itd
命令选项组合，-i和-t、-d，保持容器在后台运行，同时允许用户通过Docker logs或attach命令查看输出。
-
--gpus all
：允许容器使用宿主机的所有GPU资源。
-
--dtype bfloat16
-
--dtype {auto,half,float16,bfloat16,float,float32}
：指定数据类型，优化内存使用和计算效率。auto模式会根据模型类型自动选择精度，而half或float16则常用于半精度计算以节省显存。
-
--tensor-parallel-size 8
：设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。
-
--ipc=host
：配置容器的IPC（Inter-Process Communication）模式，允许容器与宿主机或其他容器共享共享内存，提升模型并行性能。
-
--served-model-name DeepSeek-R1-Distill-Llama-70B
：指定服务的模型名称，标识当前服务的模型，便于管理和路由
-
--model "/data/models/deepseek-70b"
指定模型文件的路径，告诉服务从哪里加载模型权重和配置文件，确保模型能够正确加载。
-
--gpu-memory-utilization 0.95
设置GPU内存使用率，限制模型使用的GPU内存占比，避免因内存不足导致服务崩溃。
-
--tensor-parallel-size 8
设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。
-
--max-model-len 30000
设置模型的最大上下文长度，限制模型在一次推理中能处理的最大输入长度，避免因过长输入导致性能问题。
-
--api-key token-abc123
指定API密钥，用于身份验证和授权，确保只有有权限的用户才能访问服务。
-
查看vLLM容器日志
-
docker logs -f b05b9c3646ec访问vLLM容器
docker exec -it b05b9c3646ec /bin/bashvLLM API 调用测试
稳定、高效云租赁平台：星海智算
注册即送50元券 链接我放下面了
星海智算-GPU算力云平台
https://gpu.spacehpc.com/user/register?inviteCode=29460209
欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。
更多推荐
13
0- 0
已为社区贡献2条内容
所有评论(0)