小白也能懂的通义千问3-14B：从安装到微调全攻略

1. 引言

1.1 学习目标

本文旨在为初学者提供一份完整的 通义千问 Qwen3-14B 模型使用指南，涵盖从本地环境搭建、一键部署、双模式推理到轻量级微调的全流程。无论你是 AI 新手还是希望快速验证大模型能力的开发者，都能通过本教程在单张消费级显卡（如 RTX 4090）上顺利运行并定制属于自己的高性能语言模型。

1.2 前置知识

• 熟悉基本命令行操作（Windows/Linux/macOS）
• 安装 Python 3.10 或以上版本
• 拥有至少 24GB 显存的 GPU（推荐 RTX 4090/A6000）
• 了解 Docker 和容器化工具的基本概念（非必须但有助于理解）

1.3 教程价值

Qwen3-14B 是目前开源社区中极具性价比的大模型之一：
✅ 148 亿参数全激活 Dense 架构，非 MoE，训练透明
✅ 支持 128K 超长上下文，实测可达 131K token
✅ 双推理模式：“Thinking” 模式适合复杂任务，“Non-thinking” 模式响应更快
✅ Apache 2.0 协议，可商用，无法律风险
✅ 兼容 Ollama、vLLM、LMStudio 等主流框架，开箱即用

本教程将结合 Ollama + Ollama WebUI 双重便捷工具链，实现“零代码”部署与交互，并进一步介绍如何使用 LLaMA-Factory 进行低成本微调。

---

2. 环境准备与一键部署

2.1 系统要求与依赖安装

确保你的设备满足以下最低配置：

组件	推荐配置
GPU	NVIDIA RTX 4090 / A6000 / H100（≥24GB VRAM）
CPU	Intel i7 或 AMD Ryzen 7 及以上
内存	≥32GB RAM
存储	≥50GB 可用空间（SSD 更佳）
操作系统	Windows 10/11, Ubuntu 20.04+, macOS（Apple Silicon）

安装 Docker（用于 Ollama）

# Ubuntu 用户
sudo apt update && sudo apt install -y docker.io
sudo systemctl start docker
sudo usermod -aG docker $USER  # 添加当前用户至 docker 组

注意：重启终端或执行 newgrp docker 使组权限生效。

下载并安装 Ollama

前往 https://ollama.com 下载对应平台的 Ollama 客户端，或通过命令行安装：

curl -fsSL https://ollama.com/install.sh | sh

验证是否安装成功：

ollama --version
# 输出示例：ollama version is 0.1.36

2.2 部署 Ollama WebUI（图形化界面）

Ollama 自带 CLI，但对新手不够友好。我们引入 Ollama WebUI 提供可视化聊天界面。

使用 Docker 启动 WebUI

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  --name ollama-webui \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000 即可进入 Web 界面。

✅ 默认账号密码为空，首次登录需设置
🔐 生产环境建议启用身份认证和 HTTPS

---

3. 模型拉取与本地运行

3.1 拉取 Qwen3-14B 模型

Ollama 已支持官方发布的 Qwen3 系列模型。执行以下命令即可下载 FP8 量化版（约 14GB），适配 24GB 显存设备：

ollama pull qwen3:14b-fp8

⏱️ 下载时间取决于网络速度，通常 5~15 分钟完成

你也可以选择其他精度版本： - qwen3:14b —— FP16 精度，占用 ~28GB 显存（需 A100/H100） - qwen3:14b-q4_K_M —— GGUF 4-bit 量化，可在 Mac M系列芯片运行

3.2 启动模型并测试对话

方法一：CLI 交互

ollama run qwen3:14b-fp8
>>> 你好，介绍一下你自己

你会看到类似如下输出：

我是通义千问 Qwen3-14B，由阿里云研发的大规模语言模型...

方法二：WebUI 图形化交互

1. 打开浏览器访问 http://localhost:3000
2. 在左下角选择模型 qwen3:14b-fp8
3. 输入问题，例如：“请写一段 Python 代码实现快速排序”

💡 WebUI 支持 Markdown 渲染、历史会话保存、导出对话等功能，体验接近 ChatGPT

---

4. 双模式推理详解：Thinking vs Non-Thinking

Qwen3-14B 最具特色的功能是 双推理模式切换，可根据场景灵活调整性能与延迟。

4.1 Thinking 模式（慢思考）

该模式开启显式思维链（Chain-of-Thought），模型会在 <think> 标签内展示推理过程，适用于：

• 数学计算（GSM8K 测试得分 88）
• 编程题解（HumanEval 达 55）
• 多跳逻辑推理

示例输入：

<|thinking|>
如果一个农场有鸡和兔子共 35 只，脚总数为 94 条，请问鸡和兔子各有多少只？
<|not_thinking|>

输出片段：

<think>
设鸡的数量为 x，兔子为 y。
则有方程组：
x + y = 35   （头数）
2x + 4y = 94 （脚数）
化简得：x + 2y = 47
相减得：y = 12，x = 23
</think>

鸡有 23 只，兔子有 12 只。

📈 性能表现：A100 上平均生成速度 120 token/s，RTX 4090 上约 80 token/s

4.2 Non-Thinking 模式（快回答）

关闭思维链，直接输出结果，响应延迟降低近 50%，适合：

• 日常对话
• 写作润色
• 实时翻译

只需不添加 <|thinking|> 标签即可自动进入此模式。

示例输入：

请将“Hello world”翻译成法语、阿拉伯语和藏语

输出：

法语：Bonjour le monde  
阿拉伯语：مرحبا بالعالم  
藏语：ཧེ་ལྷོ་ཝརལྡ།

🌍 支持 119 种语言互译，低资源语种表现优于前代 20%+

---

5. 微调入门：基于 LLaMA-Factory 的轻量微调

虽然 Ollama 适合部署，但若要让模型学会特定领域知识（如医疗问答、法律咨询），就需要进行微调。我们推荐使用 LLaMA-Factory，它提供了 Web UI 和 CLI 两种方式，支持 LoRA 微调，大幅降低资源消耗。

5.1 准备微调环境

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

安装加速库（可选）：

pip install accelerate bitsandbytes transformers peft datasets

5.2 数据集格式准备

LLaMA-Factory 支持多种数据格式，最常用的是 JSONL：

{"instruction": "解释什么是光合作用", "input": "", "output": "光合作用是植物利用阳光将二氧化碳和水转化为有机物和氧气的过程..."}
{"instruction": "写出冒泡排序的 Python 代码", "input": "", "output": "def bubble_sort(arr): ..."}

保存为 custom_data.jsonl 文件。

5.3 启动 Web 微调界面

CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path Qwen/Qwen3-14B --adapter_name_or_path ./sft_adapter --template qwen

打开 http://localhost:7860，填写以下信息：

字段	值
Model Type	Qwen3
Checkpoint Path	Qwen/Qwen3-14B
Dataset	custom_data.jsonl
Training Stage	SFT（监督微调）
LoRA Rank	64
Batch Size	4
Epochs	3

点击 “Start” 开始微调。

💻 RTX 4090 上，LoRA 微调仅需 16GB 显存，训练耗时约 20 分钟（小数据集）

5.4 导出与集成到 Ollama

微调完成后，导出适配器权重：

python src/export_model.py \
  --model_name_or_path Qwen/Qwen3-14B \
  --adapter_name_or_path ./sft_adapter \
  --export_dir ./qwen3-14b-custom

然后创建自定义 Modelfile：

FROM qwen3:14b-fp8
ADAPTER ./qwen3-14b-custom/adapter_model.bin
PARAMETER num_ctx 131072
TEMPLATE """{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>"""

构建新模型：

ollama create qwen3-14b-medical -f Modelfile

现在你可以使用：

ollama run qwen3-14b-medical

实现专业领域的精准问答！

---

6. 性能优化与常见问题

6.1 显存不足怎么办？

问题	解决方案
启动时报 CUDA out of memory	使用 FP8 或 4-bit 量化版本
推理过程中崩溃	减少 num_ctx 上下文长度（默认 128K 可调至 32K）
加载模型失败	检查磁盘空间是否充足，清理缓存 ollama rm <model>

6.2 如何提升推理速度？

• 使用 vLLM 替代 Ollama 进行高并发服务部署
• 启用 PagedAttention 和 Continuous Batching
• 在 A100/H100 上使用 Tensor Parallelism 多卡加速

示例启动命令（vLLM）：

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-14B \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.9

6.3 如何调用函数与插件？

Qwen3 支持 JSON Schema 定义函数调用，可用于构建 Agent 应用。

示例函数定义：

{
  "name": "get_weather",
  "description": "获取指定城市的天气",
  "parameters": {
    "type": "object",
    "properties": {
      "city": {"type": "string", "description": "城市名称"}
    },
    "required": ["city"]
  }
}

配合官方 qwen-agent 库可轻松构建智能助手。

---

7. 总结

7.1 核心收获回顾

本文带你完成了通义千问 Qwen3-14B 的完整实践路径：

1. 环境搭建：通过 Ollama + WebUI 实现一键部署
2. 模型运行：掌握 FP8 量化版在 RTX 4090 上的稳定运行方法
3. 双模式应用：根据任务需求切换 Thinking/Non-Thinking 模式
4. 轻量微调：使用 LLaMA-Factory 实现 LoRA 微调，打造专属模型
5. 性能优化：应对显存瓶颈与推理延迟的实际解决方案

7.2 最佳实践建议

• 📦 生产部署优先使用 vLLM 或 TGI 提升吞吐
• 🔐 商用项目务必遵守 Apache 2.0 协议，避免侵权风险
• 🧠 复杂任务启用 <|thinking|> 模式，简单交互保持默认
• 🔄 定期更新模型镜像，关注 Qwen 官方 GitHub 动态

7.3 下一步学习路径

• 深入研究 Qwen-Agent 构建多工具协同 Agent
• 尝试 RAG（检索增强生成）结合私有知识库
• 探索多模态版本 Qwen-VL 的图文理解能力

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。