通义千问1.5-1.8B-Chat-GPTQ-Int4快速入门：Ubuntu 20.04系统部署全流程

想试试大模型，又担心自己的电脑配置不够？或者被复杂的部署步骤劝退？今天，咱们就来聊聊怎么在Ubuntu 20.04系统上，轻松搞定一个轻量级的AI对话模型——通义千问1.5-1.8B-Chat的GPTQ-Int4量化版本。这个版本经过压缩，对硬件要求友好，特别适合个人开发者或者想快速上手体验的朋友。

整个过程，我们会借助一个集成了GPU资源的平台，实现“一键式”部署，把环境配置、模型下载这些繁琐的步骤都打包好。你只需要跟着走，就能快速拥有一个本地的AI对话助手。下面，我们就从零开始，一步步把它跑起来。

1. 部署前准备：理清思路与环境确认

在开始敲命令之前，我们先花几分钟了解一下我们要做什么，以及需要准备什么。这能帮你避免很多“跑了一半发现缺东西”的尴尬情况。

简单来说，我们的目标是在一台安装了Ubuntu 20.04的电脑或服务器上，启动一个通义千问模型的服务。这个服务会提供一个接口，我们可以通过发送请求的方式和它聊天。为了让它跑得快（尤其是推理速度），我们需要GPU的支持。

所以，准备工作主要围绕两点：系统环境和计算资源。

1.1 理解我们的部署方案

传统的模型部署，你得自己安装Python环境、PyTorch、CUDA驱动，再去Hugging Face下载好几个G的模型文件，中间任何一个环节版本对不上，就可能报错。

我们这次采用的是一种更省心的办法：使用预置的“镜像”。你可以把它理解为一个打包好的、开箱即用的软件盒子。这个盒子里已经装好了Ubuntu系统、Python、所有必要的深度学习库，以及我们需要的通义千问模型。我们只需要在支持GPU的云平台或本地环境中启动这个盒子，它内部的一切就自动配置好了。

这种方式的优点是省时省力，环境隔离性好，特别适合快速验证和入门。

1.2 检查你的Ubuntu 20.04环境

虽然主要环境在镜像里，但宿主机（也就是你的Ubuntu 20.04电脑）的基础状态还是要确认一下。打开你的终端，我们检查几个关键点。

首先，确认一下系统版本：

lsb_release -a

输出中应该能看到 Description: Ubuntu 20.04.x LTS 的字样。

接下来是最重要的一环：GPU和驱动。我们的镜像需要GPU来加速。

nvidia-smi

运行这个命令。如果能看到类似下面的输出，显示了你GPU的型号、驱动版本和CUDA版本，那就太好了！这说明你的NVIDIA驱动已经安装好了。

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.xx.xx    Driver Version: 470.xx.xx    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  On   | 00000000:01:00.0  On |                  N/A |
| 30%   50C    P0    50W / 200W |    1000MiB /  8192MiB |      5%      Default |
+-------------------------------+----------------------+----------------------+

如果命令报错 command not found，说明你需要先安装NVIDIA驱动。Ubuntu 20.04可以通过“软件和更新”附加驱动页面，或者使用 ubuntu-drivers 命令来安装推荐驱动。

最后，确保你的磁盘有足够空间。这个镜像加上模型，大概需要10-15GB的可用空间，你可以用 df -h 命令查看。

好了，环境确认完毕。如果你的系统满足基本要求，我们就可以进入核心的部署环节了。

2. 核心部署：通过镜像一键启动服务

准备工作做完，现在开始最核心的一步。我们将在一个提供GPU资源的平台上，找到并启动那个已经为我们准备好的“盒子”。

这里假设我们使用一个集成了这类服务的平台。其核心逻辑是：在平台上选择我们需要的预置镜像（里面包含了Ubuntu、环境和通义千问模型），然后配置一下资源（主要是选择GPU），最后点击启动。

2.1 寻找并启动预置镜像

首先，你需要登录到相应的GPU计算平台。在平台的市场或镜像广场页面，通常会有一个搜索框。

你可以尝试搜索关键词，例如 “通义千问”、“Qwen” 或 “Chat”。在搜索结果中，找到名为 “通义千问1.5-1.8B-Chat-GPTQ-Int4” 或类似名称的镜像。镜像描述里一般会写明已集成环境，支持一键部署。

找到目标镜像后，点击“部署”或“创建实例”。接下来会进入一个配置页面，这里有几个关键选项需要你留意：

1. 实例名称：给你即将创建的“虚拟机”或“容器”起个名字，比如 my-qwen-chat。
2. 镜像选择：确认这里已经自动选中了你刚才找到的通义千问镜像。
3. GPU资源：这是最重要的部分。在资源规格里，选择带有GPU的选项。对于1.8B这个尺寸的模型，一块中等规格的GPU（比如NVIDIA T4、RTX 3060/4060等）就完全足够了。平台通常会显示GPU的型号和内存大小。
4. 存储：默认的存储空间（比如50GB）通常足够，除非你有大量其他数据需要存放。
5. 网络与安全组：为了后续测试，确保实例的安全组（防火墙）规则允许访问我们即将使用的端口（例如7860或8000）。通常平台会有“开放全部端口”或“自定义添加规则”的选项，添加一条规则，允许来自 0.0.0.0/0（或你的特定IP）对目标端口的访问。

配置完成后，点击“立即创建”或“启动”。平台会开始分配资源并拉取镜像，这个过程可能需要几分钟。当实例状态变为“运行中”时，就表示我们的服务“盒子”已经启动好了。

2.2 获取访问方式与验证服务

实例运行后，平台会提供访问这个“盒子”的方法，通常有两种：

• Web终端（推荐初次使用）：平台会提供一个按钮，点击可以直接在浏览器里打开一个命令行终端，直接连接到实例内部。这是最直接的方式。
• SSH连接：平台会显示实例的公网IP地址和SSH端口（通常是22），以及默认的登录用户名（如 ubuntu 或 root）。你可以使用自己电脑上的终端（如Mac的Terminal，Windows的PowerShell或PuTTY）通过SSH连接过去。例如：

  ssh ubuntu@<你的实例IP地址>
  

  （首次连接会询问是否信任主机，输入 yes 即可。）

使用任何一种方式登录到实例内部后，我们首先来确认一下服务是否已经自动运行。因为很多预置镜像为了用户体验，会设置开机自启动。

在终端里输入：

ps aux | grep qwen

或者查看常用的端口，比如用 netstat 或 ss 命令：

sudo ss -tulnp | grep :7860

如果看到有Python进程在运行，并且监听着某个端口（常见的是7860或8000），那就说明服务已经在后台跑起来了。

通常，镜像的文档或启动日志会明确告知服务的访问端口。如果服务没有自启动，也别慌，我们手动启动它。一般镜像内会提供一个启动脚本。你可以在根目录或用户目录下找找看，比如 start.sh, launch.py 等。执行它即可：

bash start.sh
# 或者
python launch.py

运行后，终端会输出日志，看到类似 Running on local URL: http://0.0.0.0:7860 的信息，就表示服务启动成功，正在监听7860端口。

3. 快速上手：与你的AI助手对话

服务跑起来之后，我们终于可以跟它聊天了。访问方式取决于镜像提供的接口类型，常见的有两种：Web图形界面和API接口。

3.1 通过Web界面交互（最直观）

如果镜像内置了Gradio、Streamlit这类Web框架，那么访问起来最简单。

1. 打开你的浏览器。
2. 在地址栏输入：http://<你的实例IP地址>:<端口号>。例如，如果你的实例IP是 123.123.123.123，端口是 7860，那么就访问 http://123.123.123.123:7860。
3. 回车后，你应该能看到一个聊天界面。通常中间有个输入框，上面可能写着“请输入消息”或“Type your message here”。

现在，就像使用任何聊天软件一样，在输入框里打字吧！比如，你可以问：

“你好，请介绍一下你自己。” “用Python写一个快速排序的代码。” “周末去公园可以做什么？”

输入后按回车或者点击发送按钮，稍等片刻（模型需要一点推理时间），你就能看到AI的回复了。这种方式非常直观，适合测试和体验。

3.2 通过API接口调用（适合开发）

如果你想在自己的程序里调用这个模型，就需要使用它的API。通常，基于FastAPI或类似框架构建的服务会提供标准的HTTP API。

服务启动后，其API文档地址往往是 http://<实例IP>:<端口>/docs。打开这个地址，你会看到一个自动生成的交互式API文档页面（Swagger UI）。

这里你会看到可用的接口，最核心的一般是一个 POST 请求接口，路径可能是 /v1/chat/completions 或 /generate。点击它，可以看到请求参数的格式。

一个最简单的使用 curl 命令测试的例子如下（假设接口路径是 /generate）：

curl -X POST http://localhost:7860/generate \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "你好，你是谁？",
    "max_length": 100
  }'

如果返回了一段包含回答的JSON数据，就说明API调用成功了。在Python代码中，你可以使用 requests 库来更灵活地调用。

3.3 你的第一次对话测试

无论通过哪种方式，都建议你进行几个简单的测试，感受一下模型的“智商”和“性格”：

1. 基础问答：问一些常识性问题，比如“中国的首都是哪里？”。
2. 逻辑推理：给它一个小任务，比如“如果小明比小红高，小红比小蓝高，那么谁最高？”。
3. 内容创作：让它写一首关于春天的五言诗，或者一段产品文案。
4. 代码生成：让它用Python写一个计算斐波那契数列的函数。

记住，1.8B是一个参数量较小的模型，它的能力主要集中在对话流畅度和基础任务上，对于非常复杂或需要深度知识的任务，可能会力不从心。但作为入门和体验，它已经非常出色了。

4. 常见问题与小技巧

第一次部署和运行，难免会遇到一些小问题。这里整理了几个常见的坑和解决办法，希望能帮你顺利过关。

4.1 部署与连接问题

• 问题：启动实例后，无法通过IP和端口访问Web界面。

  • 检查安全组：这是最常见的原因。务必去平台控制台，找到你的实例，检查其关联的安全组（防火墙）规则，是否放行了对应的端口（如7860/TCP）。
  • 检查服务状态：通过Web终端或SSH登录实例，用 ps 或 ss 命令确认服务进程是否存在、是否在监听端口。
  • 检查启动日志：手动运行启动脚本，观察终端输出是否有错误信息。可能是端口被占用，或者某个依赖库缺失。

• 问题：模型响应速度非常慢，或者一直不响应。

  • 检查GPU占用：在实例终端运行 nvidia-smi，查看GPU是否正在被使用，以及显存占用情况。如果显存满了，速度会变慢。1.8B-Int4模型通常只需要2-4GB显存。
  • 确认量化版本：确保你部署的是 GPTQ-Int4 版本。这个版本相比原版FP16模型，显存占用小得多，推理速度也更快。如果误用了原版模型，低配GPU可能带不动。

4.2 模型使用与效果调优

• 技巧：如何让回答更符合我的要求？

  • 系统提示词：很多聊天接口支持“系统提示词”，你可以在这里设定AI的角色。比如，在输入框或API请求中，你可以先设定：“你是一个专业的Python程序员，回答要简洁并附带代码示例。”，然后再问你的问题。
  • 更详细的指令：不要只问“写个代码”，试着问“用Python写一个函数，接收一个整数列表作为输入，返回这个列表去重后的新列表，要求不使用set()函数”。
  • 控制生成长度：如果回答太长或太短，可以在API调用时调整 max_new_tokens 或 max_length 参数。

• 注意：模型的局限性

  • 小参数模型的知识截止日期可能较早，对于2023年之后的事件可能不了解。
  • 它可能会“一本正经地胡说八道”，即生成看似合理但实际错误的内容（幻觉现象）。对于关键信息，需要核实。
  • 复杂的数学计算、多步骤逻辑推理可能出错。

5. 总结与下一步

走完这个流程，你应该已经在Ubuntu 20.04上成功运行起一个属于自己的通义千问对话模型了。整个过程的核心，其实就是利用现成的、打包好的环境镜像，跳过了最折磨人的环境配置环节，直接享受成果。

用下来的感觉是，对于想快速体验大模型、或者需要一个小型、可控制的本地AI助手的场景，这个方案非常合适。部署过程比预想的要简单，主要工作量其实是在平台操作和网络配置上。模型本身虽然不大，但日常对话、简单问答和代码生成的效果已经可圈可点，响应速度也很快。

如果你已经玩转了基础对话，接下来可以尝试更多有趣的玩法。比如，研究一下如何通过API把它集成到你自己的小工具或网站里；或者看看这个镜像是否支持更高级的采样参数（如temperature, top_p），调整这些参数能改变模型回答的“创意度”和“随机性”。总之，这扇门已经打开了，后面怎么探索，就看你的兴趣了。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。