Qwen3.6-35B-A3B 本地部署教程

基于 TurboQuant + llama.cpp，8GB 显存显卡运行 35B MoE 大模型，支持 128K 上下文

---

一、硬件要求

• GPU: NVIDIA 8GB 显存（RTX 3060/3070/4060 等，已验证 RTX 4060）
• CPU: 6 核以上（已验证 i5-12600KF）
• 内存: 32GB（已验证）
• 硬盘: 40GB 可用空间
• 系统: Windows 10/11

---

二、部署步骤

第 1 步：下载 TurboQuant

访问 TheTom/llama-cpp-turboquant Releases，下载
turboquant-plus-tqp-v0.2.0-windows-x64-cuda12.4.zip，解压到任意目录。

不需要安装任何东西，解压即用。目录结构如下：

├── llama-server.exe          # 主服务程序 (唯一需要运行的文件)
├── ggml-cuda.dll             # CUDA 后端 (自带)
├── cublas64_12.dll / cublasLt64_12.dll / cudart64_12.dll
├── llama.dll / llama-common.dll / llama-server-impl.dll

第 2 步：补充 OpenSSL 依赖

如果启动报错 libssl-3-x64.dll 找不到，从 Git 安装目录复制：

copy "C:\Program Files\Git\mingw64\bin\libssl-3-x64.dll"   "解压目录\"
copy "C:\Program Files\Git\mingw64\bin\libcrypto-3-x64.dll" "解压目录\"

第 3 步：下载模型

下载 Qwen3.6-35B-A3B-DSV4Pro-Distill-MTP-Q4_K_M-imatrix.gguf（~20.22 GB）
放在固定目录，如 F:\AI\models\。

第 4 步：启动服务器

在 TurboQuant 解压目录下创建 start.bat，内容如下：

@echo off
title Qwen3.6-35B-A3B Server
cd /d "%~dp0"
.\llama-server.exe -m "F:\AI\models\Qwen3.6-35B-A3B-DSV4Pro-Distill-MTP-Q4_K_M-imatrix.gguf" --alias Qwen3.6-35B-A3B --host 0.0.0.0 --port 8080 -ngl auto -fa on -b 2048 -ub 2048 -np 1 -t 10 --no-mmap --cache-ram 0 --cache-type-k turbo4 --cache-type-v turbo3 --flash-attn on -c 131072 --no-kv-offload --reasoning off --jinja
pause

停止脚本 stop.bat：

@echo off
taskkill /f /im llama-server.exe >nul 2>&1
if %errorlevel% equ 0 (echo Server stopped.) else (echo No server running.)
pause

第 5 步：验证

双击 start.bat，等待 20-30 秒，看到以下日志即成功：

I srv  llama_server: server is listening on http://0.0.0.0:8080

访问 http://localhost:8080/health，返回 {"status":"ok"}

---

三、API 使用

兼容 OpenAI 格式，Endpoint：http://localhost:8080/v1/chat/completions

Invoke-RestMethod -Uri "http://localhost:8080/v1/chat/completions" -Method Post `
    -ContentType "application/json" `
    -Body '{"model":"Qwen3.6-35B-A3B","messages":[{"role":"user","content":"你好"}],"max_tokens":100}'

import requests
r = requests.post("http://localhost:8080/v1/chat/completions",
    json={"model":"Qwen3.6-35B-A3B","messages":[{"role":"user","content":"你好"}],"max_tokens":100})
print(r.json()["choices"][0]["message"]["content"])

---

四、性能基准

测试项	结果
短请求（50 tokens）	23.1 t/s（0.7s）
长请求（300 tokens）	18.6 t/s（14.4s）
GPU 显存	6923 / 8187 MiB（84.5%）
系统内存	24.5 / 31.8 GB
上下文	128K（131072 tokens）

---

五、常见问题

Q: 启动后内存被占满，请求无响应？
A: 确保 --cache-ram 0 已添加，关闭 prompt cache 节省 ~8GB 内存。

Q: GPU 没用上，全在 CPU 跑？
A: 去掉 --n-cpu-moe 参数，使用 -ngl auto 让系统自动分配。

Q: 双击 bat 报错乱码？
A: 命令写在一行（不用 ^ 换行符），且文件用 GBK 编码保存。

Q: 为什么达不到 40 t/s？
A: 文章用的是 APEX-MTP-I-Compact 模型（~16GB，含 DeltaNet 线性注意力），本教程用的是 DSV4Pro 模型（~20GB）。APEX 模型更小、架构不同，所以更快。如需 40 t/s 需更换模型。

---

附录：文件目录参考

F:\AI\
├── models\
│   ├── Qwen3.6-35B-A3B-DSV4Pro-Distill-MTP-Q4_K_M-imatrix.gguf  (20.22 GB)
│   └── turboquant-plus-tqp-v0.2.0-windows-x64-cuda12.4\
│       ├── llama-server.exe
│       ├── start.bat          # 双击启动
│       ├── stop.bat           # 双击停止
│       ├── ggml-cuda.dll
│       ├── libssl-3-x64.dll
│       └── libcrypto-3-x64.dll
└── Qwen3.6-35B-本地部署教程.md