千问3.5-2B开源大模型部署：免root权限，普通用户即可运行supervisor服务

1. 模型介绍

千问3.5-2B是Qwen系列的小型视觉语言模型，具备图片理解与文本生成能力。这个轻量级模型特别适合需要视觉理解能力的应用场景，无需复杂部署即可快速投入使用。

与大型视觉模型相比，千问3.5-2B具有以下特点：

• 模型体积小（仅2B参数）
• 推理速度快
• 显存占用低
• 支持常见视觉理解任务

2. 环境准备与快速部署

2.1 系统要求

部署千问3.5-2B需要满足以下基本条件：

• Linux操作系统（推荐Ubuntu 18.04+）
• NVIDIA显卡（显存≥8GB）
• Python 3.8+
• CUDA 11.7+
• 普通用户权限（无需root）

2.2 一键部署脚本

# 创建虚拟环境
python -m venv qwen_env
source qwen_env/bin/activate

# 安装依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
pip install transformers==4.33.0
pip install supervisor

# 下载模型权重（可选）
wget https://example.com/qwen-3.5-2b-vl.tar.gz
tar -xzf qwen-3.5-2b-vl.tar.gz

3. 免root权限的supervisor配置

3.1 创建用户级supervisor配置

普通用户可以在家目录下创建supervisor配置文件：

mkdir -p ~/supervisor/conf.d
cat > ~/supervisor/supervisord.conf <<EOF
[unix_http_server]
file=/tmp/supervisor.sock

[supervisord]
logfile=~/supervisor/supervisord.log
pidfile=~/supervisor/supervisord.pid
nodaemon=true

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock

[include]
files = ~/supervisor/conf.d/*.conf
EOF

3.2 配置千问3.5-2B服务

创建服务配置文件~/supervisor/conf.d/qwen.conf：

[program:qwen35-2b-vl]
command=python -m qwen35_2b_vl.web --port 7860
directory=~/qwen35-2b-vl
autostart=true
autorestart=true
stderr_logfile=~/qwen35-2b-vl/web.err.log
stdout_logfile=~/qwen35-2b-vl/web.log
user=%(ENV_USER)s
environment=HOME="%(ENV_HOME)s",PATH="%(ENV_PATH)s"

4. 启动与管理服务

4.1 启动supervisor服务

supervisord -c ~/supervisor/supervisord.conf

4.2 常用管理命令

# 查看服务状态
supervisorctl -c ~/supervisor/supervisord.conf status

# 重启服务
supervisorctl -c ~/supervisor/supervisord.conf restart qwen35-2b-vl

# 停止服务
supervisorctl -c ~/supervisor/supervisord.conf stop qwen35-2b-vl

5. 模型使用指南

5.1 网页交互界面

服务启动后，可以通过浏览器访问：

http://localhost:7860

界面提供以下功能：

• 图片上传区域
• 提示词输入框
• 识别结果展示区

5.2 API调用方式

模型也提供REST API接口：

import requests

url = "http://localhost:7860/api/v1/generate"
headers = {"Content-Type": "application/json"}

data = {
    "image": "base64编码的图片数据",
    "prompt": "请描述图片中的主要内容",
    "max_length": 192,
    "temperature": 0.7
}

response = requests.post(url, json=data, headers=headers)
print(response.json())

6. 性能优化建议

6.1 显存优化配置

在~/.bashrc中添加以下环境变量：

export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128
export CUDA_LAUNCH_BLOCKING=1

6.2 模型加载参数

启动时可以添加以下参数优化性能：

python -m qwen35_2b_vl.web \
    --port 7860 \
    --device cuda \
    --precision fp16 \
    --max_batch_size 1

7. 常见问题解决

7.1 端口冲突问题

如果7860端口被占用，可以修改启动端口：

# 修改supervisor配置中的启动命令
command=python -m qwen35_2b_vl.web --port 7870

然后重新加载配置：

supervisorctl -c ~/supervisor/supervisord.conf update

7.2 显存不足问题

如果遇到显存不足，可以尝试以下方法：

1. 降低模型精度（使用--precision fp16）
2. 减少最大输出长度（--max_length 128）
3. 使用CPU模式（--device cpu）

7.3 服务自启动配置

为了让服务在系统重启后自动启动，可以添加以下crontab任务：

(crontab -l 2>/dev/null; echo "@reboot /path/to/qwen_env/bin/supervisord -c /home/user/supervisor/supervisord.conf") | crontab -

8. 总结与建议

通过本文介绍的方法，我们成功实现了：

1. 普通用户权限下的千问3.5-2B模型部署
2. 免root的supervisor服务配置
3. 稳定的模型服务自启动方案

实际使用中建议：

• 定期检查日志文件（~/qwen35-2b-vl/web.log）
• 监控显存使用情况（nvidia-smi）
• 根据实际需求调整模型参数

对于生产环境使用，可以考虑：

1. 添加Nginx反向代理
2. 实现负载均衡
3. 增加API鉴权机制

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。