通义千问1.5-1.8B-GPTQ-Int4部署教程：vLLM多模型服务托管与负载均衡配置

大熊小清新

489人浏览 · 2026-02-10 11:01:04

大熊小清新 · 2026-02-10 11:01:04 发布

通义千问1.5-1.8B-GPTQ-Int4部署教程：vLLM多模型服务托管与负载均衡配置

1. 环境准备与快速部署

在开始部署通义千问1.5-1.8B-Chat-GPTQ-Int4模型之前，我们先来了解一下这个模型的特点。这是一个经过量化处理的轻量级语言模型，使用GPTQ-Int4技术压缩，在保持较好性能的同时大幅减少了内存占用和计算需求。

1.1 系统要求

确保你的系统满足以下基本要求：

操作系统：Ubuntu 18.04+ 或 CentOS 7+
Python版本：3.8 或更高版本
GPU内存：至少8GB VRAM（推荐12GB以上）
系统内存：至少16GB RAM
CUDA版本：11.7 或更高版本

1.2 安装依赖包

首先创建并激活Python虚拟环境：

python -m venv qwen_env
source qwen_env/bin/activate

安装必要的Python包：

pip install vllm chainlit torch transformers

vLLM是一个高性能的推理引擎，专门为大语言模型优化，支持动态批处理和高效的内存管理。

2. 模型部署与配置

2.1 使用vLLM部署模型

vLLM提供了简单的方式来部署和运行量化模型。以下是启动模型服务的命令：

python -m vllm.entrypoints.api_server \
    --model Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4 \
    --trust-remote-code \
    --served-model-name qwen-1.8b-gptq \
    --host 0.0.0.0 \
    --port 8000

这个命令会启动一个API服务器，监听8000端口，提供模型推理服务。

2.2 验证模型部署

部署完成后，我们可以通过webshell查看服务状态：

cat /root/workspace/llm.log

如果看到类似下面的输出，说明模型已经成功加载并准备好接收请求：

INFO: Started server process [12345]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000

3. 多模型服务配置

在实际应用中，我们经常需要同时部署多个模型实例来实现负载均衡和高可用性。

3.1 配置多个模型实例

创建多个模型实例配置文件 model_config.yaml：

models:
- name: qwen-1.8b-gptq-1
  base_url: http://localhost:8000/v1
  model: Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4
  
- name: qwen-1.8b-gptq-2  
  base_url: http://localhost:8001/v1
  model: Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4

- name: qwen-1.8b-gptq-3
  base_url: http://localhost:8002/v1
  model: Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4

3.2 启动多个模型服务实例

使用不同的端口启动多个模型实例：

# 实例1
python -m vllm.entrypoints.api_server \
    --model Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4 \
    --port 8000 &

# 实例2  
python -m vllm.entrypoints.api_server \
    --model Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4 \
    --port 8001 &

# 实例3
python -m vllm.entrypoints.api_server \
    --model Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4 \
    --port 8002 &

4. 负载均衡配置

4.1 使用Nginx实现负载均衡

安装并配置Nginx作为负载均衡器：

sudo apt install nginx

创建Nginx配置文件 /etc/nginx/conf.d/llm-load-balancer.conf：

upstream llm_backend {
    server localhost:8000;
    server localhost:8001;
    server localhost:8002;
}

server {
    listen 8080;
    
    location / {
        proxy_pass http://llm_backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

重启Nginx服务使配置生效：

sudo systemctl restart nginx

4.2 健康检查与故障转移

为了确保服务的稳定性，我们可以添加健康检查机制：

import requests
import time
from threading import Thread

class HealthChecker:
    def __init__(self, endpoints):
        self.endpoints = endpoints
        self.healthy_endpoints = endpoints.copy()
        
    def check_health(self):
        while True:
            for endpoint in self.endpoints:
                try:
                    response = requests.get(f"{endpoint}/health", timeout=5)
                    if response.status_code == 200:
                        if endpoint not in self.healthy_endpoints:
                            self.healthy_endpoints.append(endpoint)
                    else:
                        if endpoint in self.healthy_endpoints:
                            self.healthy_endpoints.remove(endpoint)
                except:
                    if endpoint in self.healthy_endpoints:
                        self.healthy_endpoints.remove(endpoint)
            time.sleep(30)

# 使用示例
checker = HealthChecker(["http://localhost:8000", "http://localhost:8001", "http://localhost:8002"])
Thread(target=checker.check_health, daemon=True).start()

5. 使用Chainlit创建前端界面

Chainlit是一个专门为AI应用设计的聊天界面框架，可以快速构建交互式前端。

5.1 安装和配置Chainlit

首先确保已经安装了Chainlit：

pip install chainlit

创建Chainlit应用文件 app.py：

import chainlit as cl
import requests
import json

# 负载均衡器地址
API_BASE = "http://localhost:8080/v1"

@cl.on_message
async def main(message: cl.Message):
    # 准备请求数据
    payload = {
        "model": "qwen-1.8b-gptq",
        "messages": [
            {"role": "system", "content": "你是一个有帮助的AI助手。"},
            {"role": "user", "content": message.content}
        ],
        "max_tokens": 1024,
        "temperature": 0.7
    }
    
    # 发送请求到负载均衡器
    try:
        response = requests.post(
            f"{API_BASE}/chat/completions",
            json=payload,
            headers={"Content-Type": "application/json"},
            timeout=60
        )
        
        if response.status_code == 200:
            result = response.json()
            answer = result['choices'][0]['message']['content']
            await cl.Message(content=answer).send()
        else:
            await cl.Message(content=f"请求失败: {response.status_code}").send()
            
    except Exception as e:
        await cl.Message(content=f"发生错误: {str(e)}").send()

@cl.on_chat_start
async def start():
    await cl.Message(content="你好！我是通义千问AI助手，请问有什么可以帮你的？").send()

5.2 启动Chainlit应用

运行以下命令启动Chainlit前端：

chainlit run app.py -w

打开浏览器访问 http://localhost:8000（Chainlit默认端口）即可与模型进行交互。

6. 性能优化与监控

6.1 监控模型性能

使用Prometheus和Grafana来监控模型性能：

# prometheus.yml
global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'vllm'
    static_configs:
      - targets: ['localhost:8000', 'localhost:8001', 'localhost:8002']

6.2 性能优化建议

根据实际使用情况调整vLLM参数：

python -m vllm.entrypoints.api_server \
    --model Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4 \
    --max-num-seqs 256 \
    --max-model-len 4096 \
    --gpu-memory-utilization 0.9 \
    --swap-space 16 \
    --port 8000