如何使用vLLM部署DeepSeek V2 Lite模型

本文主要记录了我在RTX 4080Ti上部署DeepSeek V2 16B模型的过程。希望给大家一个参考，更多的参数还得看vLLM官方文档。此外，对于DeepSeek V2模型，它使用的MLA( Multi-head Latent Attention)目前vLLM尚未实现，但sglang最近实现了MLA，速度有了比较明显的提升。下一篇我们将会尝试一下。

江湖人称麻花滕

11092人浏览 · 2024-08-24 20:37:12

江湖人称麻花滕 · 2024-08-24 20:37:12 发布

最近在进行一些私有化部署大模型，很多企业会考虑数据隐私问题。因此常常会在企业内部部署自主部署大语言模型。常见的能够提供大语言模型的部署工具有，Ollama、vLLM、Xinference、SGLang和LM Studio。Ollama和LM Studio都是只支持GGUF类型量化的大语言模型，vLLM、Xinference和SGlang是支持pytorch或者说transformer类型的大模型，这些类型的模型通常在HuggingFace上都能找到。一般我们使用Ollama和LM Studio在桌面显卡领域部署，也就是个人电脑上部署使用。而在服务器领域，我们通常使用后三者。本篇我们主要关注于vLLM如何部署和量化DeepSeek大语言模型，机器环境是4卡Nvidia 2080Ti，大约48G显存。

1. 下载LLM模型

首先我们下载所需要的大语言模型，国内我们通常使用ModelScope[1]下载，它的速度较快也很稳定。我们使用modelscope官方提供的工具modelscope来下载，它有自动重连断点下载等功能。我们切换conda环境到base，然后安装modelscope。

conda activate base   pip install modelscope

然后我们访问modelscope找到我们要下载的模型，比如DeepSeek V2 Lite模型[2]。

拷贝左上角模型的限定名称，然后使用如下命令，将其下载到当前目录。

modelscope download --model deepseek-ai/DeepSeek-V2-Lite-Chat --local_dir .

速度很快，可以达到30MB/s

2. 安装vLLM推理引擎

创建vLLM的虚拟环境并激活。

conda create -n vllm python=3.11   conda activate vllm

配置国内源，这样安装会快一点

conda config --show channels   conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/   conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/   conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/   conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/   conda config --set channel_priority flexible

接下来开始安装vLLM，根据官方文档[3]来操作。

pip install vllm

注意

使用pip默认安装的是基于CUDA 12.1编译的，它也兼容CUDA 12.2和12.4等环境。但如果你的CUDA版本是CUDA 11.8，你需要一些指定版本的操作。

# Install vLLM with CUDA 11.8.   export VLLM_VERSION=0.4.0   export PYTHON_VERSION=310   pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

3. 开始部署

使用如下命令，开始部署DeepSeek V2 Lite Chat模型。

`CUAD_VISIBLE_DEVICES=0,1,2,3 python -m vllm.entrypoints.openai.api_server --model deepseek-ai/DeepSeek-V2-Lite-Chat --port 11434 --tensor-parallel-size 4 --gpu-memory-utilization 0.9 --max-model-len 8192 --trust-remote-code --enforce_eager --dtype=half`

有几个参数需要特别说明，更多的参数可以参考vLLM官方文档[4]

dtype - 数据类型，由于RTX20280Ti 只支持半精度类型的，因此dtype必须强制指定为half。
max-model-len - 指定上下文长度，它会自动预留KV Cache。虽然说DeepSeek V2支持128K上下文，但它也会导致占用大量的预留显存，因此一般我们一点一点尝试向上加，从而找到你显卡最佳上下文长度。我不确定是否有方法可以计算上下文长度所需显存。
gpu-memory-utilization - 指定显存利用率，默认0.9 假设48G，那么设置为0.9，意味着它最大可以使用48*0.9=43.2G
tensor-parallel-size - 张量并行推理，如果你是一机多卡，并且单张显卡显存无法承载大模型，那么你可以考虑启用该选项，大小根据你的显卡数量设置。

但我使用这里48G显存居然不够一个BF16的16B模型和KV Cache使用，报了如下错误。

ValueError: The model’s max seq len (8192) is larger than the maximum number of tokens that can be stored in KV cache (7104). Try increasing gpu_memory_utilization or decreasing max_model_len when initializing the engine.

所以8K上下文导致了显存不够用，然而没有地方能够设置KV Cache大小，只能通过gpu_memory_utilization 参数设置，目前是0.9，增大到0.95能够启动并支持8K上下文了。速度勉强能够接受，速度大约每秒15 tokens。

4. 使用Lora

如果你在base模型基础上微调，那么可以通过以下方式指定Lora模型。比如

vllm serve meta-llama/Llama-2-7b-hf \       --enable-lora \       --lora-modules sql-lora=$HOME/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/

其中我们使用--enable-lora --lora-modules {name}={lora-path}来指定lora模型。在使用OAI兼容的接口请求时候，必须将模型名称指定为lora的模型名称。

curl http://localhost:8000/v1/completions \       -H "Content-Type: application/json" \       -d '{           "model": "sql-lora",           "prompt": "San Francisco is a",           "max_tokens": 7,           "temperature": 0       }' | jq

5. 量化DeepSeek Lite Chat模型

量化模型，需要考虑显卡平台支持的量化类型，此处不考虑非N卡。由于RTX 2080Ti是Turing架构，它的计算能力是7.5，因此它不支持FP8量化。

此处这里使用AWQ进行4bit量化

pip install autoawq

还有一个依赖要单独安装，不然会报错。

ImportError: This modeling file requires the following packages that were not found in your environment: flash_attn. Run

pip install flash_attn

但安装总说找不到nvcc，所以执行

which nvcc

然后根据获得地址手动设置CUDA_HOME安装

CUDA_HOME=/usr/local/cuda pip install flash_attn

然后编译wheel时候，卡了一个多小时了，还没结束。注意量化有时候依赖和vllm不一致，可以考虑建立两个虚拟环境。接下来使用如下代码并执行即可开始量化。

from awq import AutoAWQForCausalLM   from transformers import AutoTokenizer      model_path = 'hub/deepseek-ai/DeepSeek-V2-Lite-Chat/'   quant_path = 'hub/deepseek-ai/DeepSeek-V2-Lite-Chat-awq-int4/'   quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }      # Load model   model = AutoAWQForCausalLM.from_pretrained(model_path, **{"low_cpu_mem_usage": True})   tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)      # Quantize   model.quantize(tokenizer, quant_config=quant_config)      # Save quantized model   model.save_quantized(quant_path)   tokenizer.save_pretrained(quant_path)

如果你的显卡支持FP8量化，可以使用AutoFP8进行离线量化。

git clone https://github.com/neuralmagic/AutoFP8.git   pip install -e AutoFP8

然后使用动态激活规模因子进行离线量化，不损失精度。

from auto_fp8 import AutoFP8ForCausalLM, BaseQuantizeConfig      pretrained_model_dir = "hub/deepseek-ai/DeepSeek-V2-Lite-Chat/"   quantized_model_dir = "hub/deepseek-ai/DeepSeek-V2-Lite-Chat-FP8/"      # Define quantization config with static activation scales   quantize_config = BaseQuantizeConfig(quant_method="fp8", activation_scheme="dynamic")   # For dynamic activation scales, there is no need for calbration examples   examples = []      # Load the model, quantize, and save checkpoint   model = AutoFP8ForCausalLM.from_pretrained(pretrained_model_dir, quantize_config)   model.quantize(examples)   model.save_quantized(quantized_model_dir)

总结

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述