通义千问1.8B-Chat-GPTQ本地部署：WSL2环境配置+模型加载，新手避坑指南

1. 引言：为什么选择WSL2部署通义千问？

想在Windows系统上体验本地AI对话模型？通义千问1.8B-Chat-GPTQ-Int4是个理想选择。这个轻量级模型仅需4GB显存，特别适合消费级GPU设备。通过WSL2（Windows Subsystem for Linux）部署，你可以在熟悉的Windows环境中获得完整的Linux开发体验。

本教程将带你从零开始完成：

• WSL2环境配置与GPU支持设置
• 模型文件复制与配置文件修复
• WebUI服务启动与访问
• 常见问题解决方案

即使你是Linux新手，按照本指南逐步操作，也能在1小时内完成部署。

2. WSL2环境配置

2.1 启用WSL功能

以管理员身份打开PowerShell，执行以下命令：

# 启用WSL功能
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

# 启用虚拟机平台
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

重启计算机使更改生效。

2.2 安装Ubuntu发行版

1. 打开Microsoft Store，搜索并安装"Ubuntu 22.04 LTS"
2. 首次启动时会提示创建用户名和密码
3. 更新软件包列表：

sudo apt update && sudo apt upgrade -y

2.3 配置GPU支持

关键步骤：

1. 在Windows中安装最新NVIDIA驱动
2. 在WSL中安装CUDA Toolkit：

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install -y cuda-toolkit-12-4

3. 验证安装：

nvidia-smi

应显示GPU信息表格。

3. 模型部署与问题解决

3.1 项目目录结构

/root/qwen-1.8b-chat/
├── app.py              # 主程序文件
├── start.sh            # 启动脚本
├── model/              # 模型文件目录
│   ├── config.json
│   ├── model.safetensors
│   ├── tokenizer.json
│   └── vocab.json

3.2 关键问题：只读文件系统解决方案

原始模型目录/root/ai-models/Qwen/Qwen1___5-1___8B-Chat-GPTQ-Int4是只读的，需要：

1. 复制模型到可写目录：

mkdir -p /root/qwen-1.8b-chat/model
cp -r /root/ai-models/Qwen/Qwen1___5-1___8B-Chat-GPTQ-Int4/* /root/qwen-1.8b-chat/model/

2. 创建缺失的量化配置文件：

echo '{
  "bits": 4,
  "group_size": 128,
  "desc_act": false,
  "sym": true,
  "true_sequential": true,
  "model_name_or_path": "Qwen1.5-1.8B-Chat-GPTQ-Int4",
  "model_file_base_name": "model"
}' > /root/qwen-1.8b-chat/model/quantize_config.json

4. 服务启动与访问

4.1 使用Supervisor管理服务

安装Supervisor：

sudo apt install -y supervisor

创建配置文件/etc/supervisor/conf.d/qwen-1.8b-chat.conf：

[program:qwen-1.8b-chat]
command=/root/qwen-1.8b-chat/start.sh
directory=/root/qwen-1.8b-chat
user=root
autostart=true
autorestart=true
startretries=3
stderr_logfile=/root/qwen-1.8b-chat/logs/error.log
stdout_logfile=/root/qwen-1.8b-chat/logs/app.log

启动服务：

sudo supervisorctl update
sudo supervisorctl start qwen-1.8b-chat

4.2 访问WebUI

服务启动后，在Windows浏览器访问：

http://localhost:7860

界面功能说明：

• 输入消息：输入你的问题或指令
• 温度：控制输出随机性（0.1-0.5更保守，0.7-1.2更有创意）
• Top-P：核采样参数（默认0.9）
• 最大长度：限制回复长度（默认2048 tokens）

5. 常见问题排查

5.1 页面无法访问

检查步骤：

# 检查服务状态
supervisorctl status qwen-1.8b-chat

# 检查端口占用
ss -tlnp | grep 7860

# 查看日志
tail -f /root/qwen-1.8b-chat/logs/app.log

5.2 显存不足错误

解决方案：

1. 降低"最大长度"参数（如改为1024）
2. 检查GPU使用情况：

nvidia-smi

3. 关闭其他占用GPU的程序

5.3 生成速度慢

可能原因：

1. 首次运行需要预热
2. GPU未正常工作（检查nvidia-smi）
3. WSL2资源分配不足（调整.wslconfig文件）

6. 进阶配置建议

6.1 自定义系统提示

编辑app.py，修改消息构建部分：

messages = [
    {"role": "system", "content": "你是一个专业的编程助手"},
    {"role": "user", "content": message}
]

6.2 性能优化参数

参数	推荐值	说明
温度	0.7	平衡创意与准确性
Top-P	0.9	保持词汇多样性
最大长度	1024	平衡响应质量与显存占用

7. 总结

通过本教程，你已成功在WSL2环境中部署了通义千问1.8B-Chat-GPTQ模型。关键要点回顾：

1. WSL2提供了完美的Windows-Linux混合开发环境
2. 模型文件需要复制到可写目录并补全配置文件
3. Supervisor可确保服务稳定运行
4. WebUI可通过localhost:7860直接访问

建议下一步尝试：

• 测试不同参数对生成效果的影响
• 探索模型在编程辅助、内容创作等场景的应用
• 考虑将API集成到你自己的应用中

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。