OpenClaw+千问3.5-9B本地部署指南:5步完成AI助手搭建
本文介绍了如何在星图GPU平台上自动化部署千问3.5-9B镜像,快速搭建本地AI助手。该方案支持数据本地处理,适用于敏感文档管理、自动化报表生成等场景,结合OpenClaw框架可实现7×24小时智能辅助办公。
OpenClaw+千问3.5-9B本地部署指南:5步完成AI助手搭建
1. 为什么选择OpenClaw+千问3.5-9B组合
去年我在尝试搭建个人AI助手时,发现大多数方案要么需要将隐私数据上传到云端,要么功能过于局限。直到遇到OpenClaw这个开源框架,配合千问3.5-9B模型的本地部署,终于找到了理想中的解决方案——一个能在我笔记本上7×24小时工作的智能助手。
这个组合最吸引我的三点在于:
- 数据不出本地:所有操作都在我的MacBook上完成,处理公司敏感文档时特别安心
- 操作自由度极高:不仅能对话,还能自动整理文件、爬取网页数据、处理Excel报表
- 成本可控:相比调用GPT-4 API,本地部署的千问3.5-9B在中文场景下性价比突出
不过要提醒的是,这个方案对电脑配置有一定要求。我的M1 Pro芯片+16GB内存的MacBook Pro在同时运行模型和OpenClaw时,内存占用经常达到12GB以上。如果你的设备配置较低,可能需要调整模型参数或考虑云端部署方案。
2. 环境准备与基础安装
2.1 硬件与系统要求
在开始前,请确保你的设备满足以下条件:
- 操作系统:macOS 12+/Windows 10+(本文以macOS为例)
- 内存:建议≥16GB(千问3.5-9B模型加载需要约10GB内存)
- 存储空间:至少20GB可用空间
- 网络:能正常访问GitHub和npm仓库
2.2 安装OpenClaw核心组件
我尝试过三种安装方式,最终推荐官方一键安装脚本:
curl -fsSL https://openclaw.ai/install.sh | bash
这个命令会自动完成以下操作:
- 检测系统环境并安装Node.js(如果未安装)
- 通过npm安装最新版OpenClaw
- 创建
~/.openclaw配置目录 - 将openclaw命令添加到系统PATH
安装完成后,验证版本号:
openclaw --version
# 预期输出类似:openclaw/1.2.3 darwin-arm64 node-v18.16.0
常见问题:如果遇到command not found错误,可能是shell配置未更新。尝试重新打开终端,或手动执行:
source ~/.zshrc # 或 ~/.bashrc
3. 初始化配置向导详解
运行配置向导是部署过程中最关键的一步:
openclaw onboard
这个交互式向导会引导你完成以下配置(我的选择供参考):
- 运行模式:选择
Advanced以获得完整控制权 - 模型提供商:选择
Qwen(后续会手动配置本地千问模型) - 默认模型:暂时选择
qwen-portal(后面会修改) - 通信渠道:跳过(先专注本地功能)
- 技能模块:全选(后续可按需禁用)
配置完成后,会在~/.openclaw/openclaw.json生成基础配置文件。我建议立即备份这个文件:
cp ~/.openclaw/openclaw.json ~/.openclaw/openclaw.json.bak
4. 千问3.5-9B模型本地部署
4.1 下载与加载模型
从星图平台获取千问3.5-9B镜像后,通过以下命令启动模型服务:
python -m llama_cpp.server --model qwen3.5-9b.Q4_K_M.gguf --host 127.0.0.1 --port 5000
这个命令会:
- 加载量化后的GGUF模型文件(约6.5GB)
- 启动兼容OpenAI API的HTTP服务
- 监听5000端口
性能提示:首次加载可能需要5-10分钟。在我的M1 Pro上,推理速度约为12 tokens/秒,对于自动化任务已经足够。
4.2 修改OpenClaw配置对接本地模型
编辑配置文件~/.openclaw/openclaw.json,在models.providers部分新增:
{
"models": {
"providers": {
"local-qwen": {
"baseUrl": "http://127.0.0.1:5000/v1",
"api": "openai-completions",
"models": [
{
"id": "qwen3.5-9b",
"name": "千问3.5-9B本地版",
"contextWindow": 32768
}
]
}
},
"defaultProvider": "local-qwen",
"defaultModel": "qwen3.5-9b"
}
}
保存后重启网关服务:
openclaw gateway restart
验证模型连接状态:
openclaw models list
# 预期看到千问3.5-9B本地版状态为active
5. 解决常见问题与功能测试
5.1 端口冲突处理
在启动过程中,最常遇到的是端口冲突。我的解决方案是:
- 查看端口占用情况:
lsof -i :18789
- 如果被占用,可以修改网关端口(比如改为17890):
openclaw gateway --port 17890
- 记得同步更新配置文件中的端口设置
5.2 基础功能测试
启动Web控制台:
openclaw gateway --port 18789
浏览器访问http://localhost:18789,尝试以下测试:
-
基础对话测试:
- 输入:"用中文写一封请假邮件"
- 预期:获得格式规范的邮件草稿
-
文件操作测试:
- 输入:"在桌面创建test.txt,内容为'Hello OpenClaw'"
- 预期:桌面确实出现该文件
-
网页操作测试:
- 输入:"打开百度搜索'OpenClaw最新版本'"
- 预期:浏览器自动打开并执行搜索
5.3 性能优化建议
经过两周的使用,我总结了这些优化经验:
- 调整量化等级:如果发现模型响应质量下降,可以尝试使用Q5或Q6量化的模型文件
- 限制上下文长度:在配置中将
contextWindow设为8192可以显著降低内存占用 - 定时重启服务:通过cron设置每天凌晨重启模型服务,避免内存泄漏
6. 我的自动化实践案例
部署完成后,我实现了几个实用的自动化场景:
-
晨间简报生成:
- 每天8点自动抓取指定新闻网站
- 用千问模型提取关键信息
- 生成Markdown格式报告保存到指定目录
-
会议纪要整理:
- 监听指定文件夹的音频文件
- 调用本地Whisper模型转写
- 用千问提炼行动项和关键结论
-
技术文档辅助:
- 在VS Code中通过快捷键唤出
- 自动解释当前选中的代码片段
- 能根据注释生成单元测试框架
这些场景都通过OpenClaw的Skill机制实现,每个Skill的安装都不超过5分钟。最让我惊喜的是,即使模型完全在本地运行,处理这些任务的响应速度也能保持在可接受范围内。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐



所有评论(0)