Qwen3.5-4B-AWQ镜像免配置实践：supervisor开机自启+崩溃自动恢复

1. 模型概述

Qwen3.5-4B-AWQ-4bit是由阿里云通义千问团队推出的轻量级稠密模型，经过4bit AWQ量化后显存占用仅约3GB，使得RTX 3060/4060等消费级显卡也能流畅运行。这款模型在保持轻量化的同时，性能表现依然出色：

• 性能均衡：MMLU-Pro得分接近Qwen3-30B-A3B，OmniDocBench表现甚至超过GPT-5-Nano
• 全能力覆盖：支持201种语言处理、原生多模态（图文交互）、长上下文理解和工具调用
• 场景适配：特别适合轻量Agent、知识库问答和智能客服等应用场景

2. 快速部署指南

2.1 基础环境准备

项目已预配置以下环境：

• 模型路径：/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit
• 推理引擎：vLLM
• WebUI访问端口：7860

2.2 服务管理命令

使用supervisor进行服务管理：

# 查看服务状态
supervisorctl status

# 启动服务
supervisorctl start qwen35-4b-awq

# 停止服务
supervisorctl stop qwen35-4b-awq

# 重启服务
supervisorctl restart qwen35-4b-awq

2.3 日志查看方法

# 实时查看运行日志
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log

# 查看错误日志（排查问题时特别有用）
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log

3. 开机自启与自动恢复配置

3.1 supervisor自动管理

项目已预配置supervisor实现两大关键功能：

• 开机自启：autostart=true确保系统重启后自动启动服务
• 崩溃恢复：autorestart=true在服务意外终止时自动重新启动

supervisord服务本身也已配置为开机自启，形成完整的管理闭环。

3.2 手动调试方法（可选）

如需手动调试运行，可使用以下命令：

cd /root/Qwen3.5-4B-AWQ-4bit
/opt/miniconda3/envs/torch28/bin/python webui.py

4. 常见问题解决方案

4.1 GPU显存问题处理

当服务启动失败并提示显存不足时，通常是因为有残留进程占用了显存：

# 检查当前GPU显存占用情况
nvidia-smi

# 查找可能的VLLM残留进程
ps aux | grep VLLM

# 终止残留进程后重新启动服务
kill -9 <PID>
supervisorctl start qwen35-4b-awq

4.2 目录结构说明

项目采用清晰的目录结构设计：

/root/Qwen3.5-4B-AWQ-4bit/
├── webui.py              # 主程序入口
├── supervisor.conf       # supervisor配置文件
└── logs/
    ├── webui.log         # 常规运行日志
    └── webui.err.log     # 错误日志记录

5. 使用总结

通过本文介绍的supervisor配置方案，您可以轻松实现：

1. 系统重启后自动恢复：无需人工干预，服务自动启动
2. 意外崩溃自动恢复：提高服务稳定性，减少人工维护
3. 统一管理接口：通过简单的supervisor命令管理服务状态

部署完成后，只需访问http://localhost:7860即可开始使用Web界面与模型交互。这套方案特别适合需要长期稳定运行的AI服务场景，大大降低了运维复杂度。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。