Qwen1.5-1.8B-GPTQ-Int4企业私有化部署：数据不出域的轻量AI助手搭建教程

1. 为什么你需要一个私有化的轻量AI助手？

想象一下这个场景：你的团队需要快速处理一些内部文档，或者想有个智能助手帮忙写写周报、整理会议纪要。你可能会想到那些在线的AI工具，但转念一想，公司的数据能随便传出去吗？客户信息、产品代码、内部策略，这些敏感内容一旦离开公司网络，风险就不可控了。

这就是我们今天要解决的问题。我将带你一步步搭建一个完全属于你自己的AI助手。它基于通义千问1.5-1.8B-Chat模型，经过GPTQ-Int4量化技术压缩，体积小巧但能力在线。最关键的是，它运行在你自己的服务器上，所有数据都在你的掌控之中，真正做到“数据不出域”。

这个方案有什么好处呢？简单来说就是三点：安全、可控、经济。你不用再担心数据隐私问题，可以7x24小时稳定使用，而且因为模型经过优化，对硬件要求不高，普通的企业服务器甚至性能好点的个人电脑都能跑起来。

2. 部署前准备：你需要了解的核心概念

在开始动手之前，我们先花几分钟搞清楚几个关键名词。别担心，我用最直白的话来解释。

通义千问1.5-1.8B-Chat：这是阿里开源的一个对话模型。“1.8B”指的是它有18亿个参数，你可以理解为它的“脑容量”。这个大小在AI模型里属于轻量级选手，比动辄几百亿参数的大模型苗条得多，但完成一般的对话、文案、总结任务已经绰绰有余。“Chat”意味着它专门为对话场景优化过，跟你聊天会更自然。

GPTQ-Int4量化：这听起来有点技术，其实原理很简单。原始的模型参数通常用比较“精细”的格式存储（比如FP16，占16位）。量化就是把这些参数用更“粗糙”但更节省空间的格式来存储（比如Int4，只占4位）。你可以想象成把一张高清图片转成压缩包，画质损失一点，但文件大小可能只有原来的1/4。GPTQ就是一种特别聪明的压缩方法，能在尽量保持模型能力的前提下，大幅减少模型体积和运行所需的内存。

vLLM：这是一个专门为高效运行大语言模型设计的推理引擎。你可以把它看作一个性能强劲的“模型发动机”。它有很多优化技巧，比如高效的内存管理、连续的批处理请求等，能让模型推理速度更快，同时服务更多用户。

Chainlit：这是模型的前端界面。部署好模型引擎后，你需要一个漂亮的“操作台”来和它交互。Chainlit就是一个用Python写的、专门为AI应用设计的Web界面，部署简单，界面友好，有点像你给模型装了个可视化聊天窗口。

把这几个东西组合起来，我们的技术栈就很清晰了：用vLLM作为引擎来高效运行经过GPTQ-Int4量化压缩的通义千问1.5-1.8B-Chat模型，然后用Chainlit做一个网页前端方便大家使用。

3. 分步搭建你的私有AI助手

好了，理论部分结束，我们开始动手。我会假设你有一台安装了Linux系统（如Ubuntu 20.04/22.04）的服务器，并且有基本的命令行操作知识。整个过程就像搭积木，一步一步来。

3.1 第一步：环境与依赖检查

首先，我们登录到你的服务器，打开终端。先确保几个基础工具已经安装好。

# 1. 更新系统包列表
sudo apt-get update

# 2. 安装Python和pip（如果还没有的话）
# Ubuntu/Debian系统通常自带Python3，我们确保pip也装上
sudo apt-get install -y python3-pip

# 3. 安装一个重要的工具：git，用于拉取代码
sudo apt-get install -y git

# 4. 创建一个专门的工作目录，保持环境整洁
mkdir -p ~/ai_assistant
cd ~/ai_assistant

接下来，我们需要一个稍微新一点的Python版本，建议使用Python 3.10。你可以用下面的命令检查：

python3 --version

如果版本低于3.10，可以考虑用pyenv等工具安装新版本，或者直接使用系统较新的版本。对于这个轻量级模型，Python 3.8以上通常都可以。

3.2 第二步：部署模型推理引擎（vLLM）

模型引擎是我们的核心。我们将使用vLLM来加载和运行量化后的模型。

# 1. 安装vLLM。这里我们安装支持CUDA（如果你有NVIDIA GPU）的版本。
# 如果你只有CPU，可以安装 `pip install vllm`，但速度会慢很多。
pip install vllm

# 2. 创建一个简单的Python脚本，用于启动vLLM服务。
# 我们将服务开放在7860端口，你可以按需修改。
cat > launch_vllm.py << 'EOF'
from vllm import LLM, SamplingParams

# 指定模型路径。这里我们使用量化后的模型。
# 注意：你需要提前下载好模型文件，我们下一步会讲怎么下载。
model_path = "/root/workspace/Qwen1.5-1.8B-Chat-GPTQ-Int4"

# 初始化LLM引擎
# tensor_parallel_size 如果你有多张GPU可以设置大于1，加速推理
llm = LLM(model=model_path, trust_remote_code=True)

# 定义采样参数，控制生成文本的“性格”
sampling_params = SamplingParams(temperature=0.7, top_p=0.9, max_tokens=512)

print("vLLM 模型引擎启动成功！")
print(f"模型加载自: {model_path}")

# 这里我们先不直接交互，服务会持续运行等待请求
# 实际部署时，vLLm通常以API服务器形式启动，我们下一步会调整。
EOF

上面的脚本是一个基础示例。在实际生产部署中，我们更常用vLLM的OpenAI兼容的API服务器模式，这样前端（Chainlit）可以像调用OpenAI API一样调用它。我们稍后会调整。

3.3 第三步：获取并验证量化模型

模型文件是重中之重。由于原始模型加上量化文件比较大，我们这里提供两种思路：

思路A：从镜像或预置环境获取（推荐） 如果你使用的是提供了预置环境的云平台或容器服务（比如一些AI开发平台），模型可能已经准备好了。你需要做的就是找到模型文件的存放路径，通常是像/root/workspace/这样的目录。你可以用ls命令查看。

思路B：自行下载与转换（适用于自定义环境） 如果你需要从头开始，可以按照以下步骤操作。这需要一定的磁盘空间和网络条件。

# 进入你的工作目录
cd ~/ai_assistant

# 1. 安装必要的库，用于加载和转换模型
pip install transformers accelerate torch

# 2. 使用Hugging Face的接口下载基础模型和量化模型。
# 注意：下载需要时间，并且需要访问外网。请确保你的网络环境允许。
# 这里是一个示例，实际模型仓库名可能不同，请以官方发布为准。
# python -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('Qwen/Qwen1.5-1.8B-Chat', cache_dir='./models')"

# 由于GPTQ量化模型可能需要从特定仓库下载，且过程较为复杂，
# 更常见的做法是直接寻找已经转换好的GPTQ模型文件（.safetensors格式）。
# 例如，在Hugging Face Model Hub上搜索 “Qwen1.5-1.8B-Chat-GPTQ-Int4”。

考虑到自行下载和转换对新手有一定门槛，而且耗时较长，本教程强烈建议你使用已经内置了该量化模型的开发环境或镜像。这样，你只需要关心如何启动和调用它。

如何验证模型是否就绪？ 无论通过哪种方式，最终你都需要确认模型文件存在。假设模型放在/root/workspace/Qwen1.5-1.8B-Chat-GPTQ-Int4目录下，你可以这样检查：

ls -la /root/workspace/Qwen1.5-1.8B-Chat-GPTQ-Int4/

你应该能看到一些类似 config.json, model.safetensors, tokenizer.json 这样的文件。

3.4 第四步：以API服务器模式启动vLLM

现在我们调整启动方式，让vLLM作为一个HTTP API服务运行，这样Chainlit才能和它通信。

# 创建一个启动脚本 start_api.sh
cat > start_api.sh << 'EOF'
#!/bin/bash
# 启动vLLM OpenAI兼容API服务器

MODEL_PATH="/root/workspace/Qwen1.5-1.8B-Chat-GPTQ-Int4"
API_HOST="0.0.0.0"
API_PORT=8000

echo "正在启动 vLLM API 服务器..."
echo "模型路径: $MODEL_PATH"
echo "服务地址: http://$API_HOST:$API_PORT"

python -m vllm.entrypoints.openai.api_server \
    --model $MODEL_PATH \
    --served-model-name Qwen1.5-1.8B-Chat \
    --host $API_HOST \
    --port $API_PORT \
    --trust-remote-code
EOF

# 给脚本执行权限
chmod +x start_api.sh

# 启动服务（注意，这会占用当前终端）
./start_api.sh

当你看到类似下面的输出时，说明服务启动成功了：

INFO 05-15 10:00:00 api_server.py:150] Starting server process 12345
INFO 05-15 10:00:00 api_server.py:151] Uvicorn running on http://0.0.0.0:8000
INFO 05-15 10:00:00 api_server.py:152] Docs: http://0.0.0.0:8000/docs

重要提示：这个命令会一直运行，直到你按 Ctrl+C 停止它。如果你想在后台运行，可以在命令末尾加上 &，或者使用 nohup 和 screen/tmux 这类终端复用工具。

3.5 第五步：搭建Chainlit聊天前端

模型API服务在8000端口跑起来了，现在我们需要一个好看的网页来和它聊天。Chainlit能帮我们快速搞定。

首先，在一个新的终端窗口或者使用screen等工具切换到新的会话中，继续操作。

# 1. 确保还在你的项目目录
cd ~/ai_assistant

# 2. 安装Chainlit
pip install chainlit

# 3. 创建Chainlit应用的主文件 app.py
cat > app.py << 'EOF'
import chainlit as cl
import os
import sys
from openai import OpenAI

# 配置你的vLLM API服务器地址
# 如果vLLM和Chainlit运行在同一台机器，可以用localhost
# 如果在不同机器，请替换为实际的IP地址
VLLM_API_BASE = "http://localhost:8000/v1"  # vLLM OpenAI API的端点
VLLM_API_KEY = "EMPTY"  # vLLM默认不需要key，但客户端要求有，可以填任意值

@cl.on_chat_start
async def start_chat():
    # 初始化OpenAI客户端，指向我们自己的vLLM服务器
    client = OpenAI(
        base_url=VLLM_API_BASE,
        api_key=VLLM_API_KEY,
    )
    # 将客户端保存在用户会话中
    cl.user_session.set("client", client)
    # 发送欢迎消息
    await cl.Message(
        content="你好！我是运行在你本地服务器的通义千问助手。有什么可以帮你的？"
    ).send()

@cl.on_message
async def handle_message(message: cl.Message):
    # 从会话中获取客户端
    client = cl.user_session.get("client")
    # 获取用户消息
    user_input = message.content

    # 创建一个消息对象，表示正在思考
    msg = cl.Message(content="")
    await msg.send()

    try:
        # 调用vLLM API生成回复
        response = client.chat.completions.create(
            model="Qwen1.5-1.8B-Chat", # 与启动服务器时的 --served-model-name 一致
            messages=[
                {"role": "system", "content": "你是一个乐于助人的AI助手。"},
                {"role": "user", "content": user_input}
            ],
            stream=True,  # 启用流式输出，实现打字机效果
            temperature=0.7,
            max_tokens=512
        )

        # 流式接收并显示回复
        full_response = ""
        for chunk in response:
            if chunk.choices[0].delta.content is not None:
                token = chunk.choices[0].delta.content
                full_response += token
                await msg.stream_token(token)

        # 更新最终消息
        await msg.update()

    except Exception as e:
        # 如果出错，返回错误信息
        error_msg = f"调用模型API时出错: {str(e)}。请检查vLLM服务是否正在运行。"
        await cl.Message(content=error_msg).send()
EOF

这个app.py文件做了几件事：

  1. 定义了一个聊天机器人。
  2. 在聊天开始时，初始化一个连接我们本地vLLM服务器的“客户端”。
  3. 当用户发送消息时，它会把消息转发给vLLM API。
  4. 以“流式”的方式把模型的回复一个字一个字地显示出来，体验更好。

接下来，我们需要一个Chainlit的配置文件，告诉它一些基本设置。

# 创建Chainlit配置文件
cat > chainlit.md << 'EOF'
# 欢迎使用私有化AI助手

这是一个部署在您本地环境的通义千问智能助手。

## 功能特点
- 数据完全私有，不出内部网络
- 响应快速
- 支持连续对话

开始输入您的问题吧！
EOF

现在，万事俱备，可以启动前端了。

# 启动Chainlit应用，默认端口是7860
chainlit run app.py

启动后，终端会输出一个本地访问地址，通常是 http://localhost:7860。打开你的浏览器，输入这个地址，就能看到聊天界面了。

4. 验证与使用：看看你的AI助手是否工作

部署完成后，我们需要验证整个流程是否通畅。按照以下步骤操作：

4.1 验证vLLM API服务

打开一个新的终端窗口，使用curl命令测试API是否正常响应。

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen1.5-1.8B-Chat",
    "messages": [
      {"role": "user", "content": "你好，请介绍一下你自己。"}
    ],
    "max_tokens": 50
  }'

如果返回一串包含"choices"的JSON数据，并且里面有模型生成的回复，说明API服务运行正常。

4.2 使用Chainlit前端进行对话

  1. 确保你的vLLM服务（start_api.sh）和Chainlit服务（chainlit run app.py）都在运行。
  2. 在浏览器中访问Chainlit的地址（如 http://你的服务器IP:7860）。
  3. 在底部的输入框里，尝试问一些问题：
    • “写一段简单的产品介绍文案。”
    • “用Python写一个计算斐波那契数列的函数。”
    • “总结一下‘数据不出域’的重要性。”

观察回复的速度和内容质量。这个1.8B的模型在简单问答、文案生成、代码辅助方面表现不错，但对于非常复杂或需要大量知识的任务，能力有限，这是由其模型规模决定的。

4.3 查看服务日志（排错必备）

如果遇到问题，查看日志是第一步。按照你启动服务的方式：

  • 查看vLLM API日志：直接看你运行./start_api.sh的那个终端窗口，所有错误和信息都会打印在那里。
  • 查看Chainlit日志：直接看你运行chainlit run app.py的那个终端窗口。

常见的启动问题可能包括：

  • 端口冲突：8000或7860端口被其他程序占用。可以修改启动脚本中的--port参数换一个端口。
  • 模型路径错误：vLLM找不到模型文件。请仔细检查MODEL_PATH变量指向的目录是否存在且包含正确的模型文件。
  • 内存不足：虽然模型已经量化，但启动时仍需要一定内存。确保你的服务器有足够的可用内存（建议至少4GB以上）。

5. 总结：你的轻量级私有AI已就绪

走到这一步，恭喜你！你已经成功在本地环境部署了一个完整的、数据私有的AI对话助手。让我们回顾一下你搭建的系统：

  1. 核心引擎：基于vLLM的高效推理服务器，负责加载和运行量化后的通义千问模型。
  2. 智能模型：Qwen1.5-1.8B-Chat-GPTQ-Int4，一个在精度和效率间取得很好平衡的轻量级对话模型。
  3. 交互界面：基于Chainlit的Web聊天界面，美观且易于使用。

这个方案最大的优势就是安全可控。所有的计算、所有的数据流转，都发生在你的服务器内部，没有任何信息会泄露到公网。这对于处理企业内部信息、开发文档、客户数据等敏感场景来说，是至关重要的底线。

它可能不像千亿参数模型那样知识渊博，但对于日常的文档处理、创意激发、代码片段生成、内部知识问答等任务，它完全能够胜任，并且成本极低。你可以把它集成到内部办公系统、知识库，或者就作为一个独立的智能助手来使用。

下一步，你可以尝试：

  • 调整参数：在app.py中修改temperature（控制创造性）和max_tokens（控制生成长度），让助手更符合你的需求。
  • 优化部署：使用Docker将vLLM和Chainlit容器化，实现更优雅的部署和管理。
  • 接入应用：不局限于Chainlit前端，你可以用任何能调用HTTP API的编程语言（Python, JavaScript, Go等）来开发自己的业务系统，与这个AI助手对接。

希望这篇教程能帮你打开企业级AI应用的大门。从这个小而美的私有助手开始，安全地探索AI技术的潜力吧。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

# AI助手
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

cover

流式补全与 diff 视图同步的工程实现：DeepSeek-V4 代码助手落地踩坑

avatar DeepSeek技术社区
cover

Gemini 结构化输出 JSON mode 生产实践：DeepSeek 护栏与安全对齐的工程解法

avatar DeepSeek技术社区
cover

RAG 混合检索实战：向量+关键词何时能1+1>2，何时反成灾难？

avatar DeepSeek技术社区