1. 为什么要在Jetson AGX Orin上折腾Qwen14B？

如果你和我一样，是个喜欢把大模型“揣在兜里”的开发者，那么Jetson AGX Orin配上Qwen14B这个组合，绝对会让你兴奋。想象一下，一个拥有140亿参数的中文大模型，不再依赖遥远的云端服务器，就在你手边这块巴掌大的开发板上流畅地回答问题、生成代码、甚至帮你写周报。这不仅仅是技术上的炫技，更是解决实际痛点的关键：数据隐私、网络延迟、离线可用性。

我最初的想法很简单：在云端用我的GPU服务器微调一个专属于我业务场景的Qwen14B模型，比如让它更懂我的代码库或者行业术语。但问题来了，每次微调出新的版本，我都要把整个12GB以上的模型权重文件下载到边缘设备上，这不仅是带宽的噩梦，也是对耐心的极大考验。更别提在一些网络环境不稳定的工业现场，这种同步方式几乎不可行。

于是，一个清晰的路径在我脑中成型：在云端做轻量化的高效微调（比如LoRA），只生成一个很小的适配器文件（通常几百MB）；然后把这个“小补丁”同步到Jetson AGX Orin上，与本地的基座模型进行合并与量化，最终得到一个既拥有定制化能力，又能在边缘设备上高效运行的“终极模型”。这个流程将每次更新的数据传输量从12GB降低到200MB左右，彻底解决了网络瓶颈。今天，我就把这条从云端微调到边缘部署的全链路实践，毫无保留地分享给你，里面包含了我踩过的坑和验证过的稳定方案。

2. 给你的Jetson AGX Orin打好地基：系统与容器环境

工欲善其事，必先利其器。在开始模型部署之前，我们必须为Jetson AGX Orin准备一个稳定、高效且磁盘空间充足的环境。原厂自带的64GB eMMC对于玩转大模型来说，简直是杯水车薪，光是一个Qwen14B的模型文件就能占去大半。所以，我的第一个强烈建议是：务必为你的Orin配备一块高速的NVMe固态硬盘，并把它作为主工作盘。

2.1 系统更新与基础配置

拿到设备后，第一步不是急着装软件，而是确保系统是最新的。我使用的是JetPack 6.0，它带来了更新的内核和驱动支持，对后续的容器和CUDA兼容性更好。通过串口或者SSH连接到你的Orin，执行标准的系统更新命令：

sudo apt update
sudo apt full-upgrade -y

更新完成后，一个关键的避坑点来了：不要直接通过apt安装Docker！ Jetson的ARM架构和官方Docker仓库的x86版本不兼容，直接安装会导致各种诡异的网络和运行时错误。我们需要为Jetson量身定制的容器方案。

2.2 挂载数据盘与优化存储

假设你已经安装好了固态硬盘，我们需要将它格式化和挂载。我通常单独分一个区，并挂载到/data目录，这样结构清晰。

# 查看磁盘，假设你的NVMe是 /dev/nvme0n1
sudo fdisk -l
# 分区和格式化 (假设分一个区 /dev/nvme0n1p1)
sudo mkfs.ext4 /dev/nvme0n1p1
# 创建挂载点并挂载
sudo mkdir /data
sudo mount /dev/nvme0n1p1 /data
# 设置为开机自动挂载，编辑 /etc/fstab

接下来，我们要把Docker的根目录和所有后续大型软件（如Conda、模型文件）都放到这个大数据盘上。修改Docker的存储路径（虽然我们还没装Docker，但先配置好）：

# 停止docker服务（如果已安装其他版本）
sudo systemctl stop docker
# 创建新的docker数据目录
sudo mkdir -p /data/docker
# 通过daemon.json配置（安装jetson-containers后会用到）

2.3 安装Jetson专属的容器环境：jetson-containers

这是整个基础环节的灵魂。dusty-nv/jetson-containers项目是NVIDIA社区大神为Jetson系列维护的容器镜像和工具集，它完美解决了架构适配和依赖库的问题。安装它：

# 克隆仓库
git clone https://github.com/dusty-nv/jetson-containers.git
cd jetson-containers
# 运行安装脚本，它会安装适合Jetson的Docker运行时和基础工具
./install.sh

安装完成后，你会发现多了一个叫docker的命令（实际上它封装了原生的docker，并注入了一些Jetson必要的环境变量和挂载）。它的用法和普通Docker几乎一样，但在启动容器时，会自动处理好GPU设备、CUDA库的映射，这是直接用docker run容易出错的地方。例如，启动一个带GPU的测试容器：

./docker/run.sh --name my_test nvcr.io/nvidia/l4t-base:r36.2.0

2.4 安装Miniforge (Conda for ARM)

我们需要一个Python环境管理工具，在Jetson上，我推荐使用Miniforge，因为它提供了预编译的ARM架构的Conda包。从清华镜像站下载适用于aarch64的安装脚本：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh -b -p /data/miniconda3

安装完成后，将conda加入环境变量，并创建一个专门用于模型部署的Python环境，比如Python 3.10：

/data/miniconda3/bin/conda init bash
source ~/.bashrc
conda create -n ollama_deploy python=3.10 -y
conda activate ollama_deploy

至此，一个磁盘空间充裕、容器环境就绪、Python环境干净的Jetson AGX Orin就准备好了。这步基础打得牢，后面所有操作都会顺风顺水。

3. 在云端高效微调：用LLaMA Factory定制你的Qwen14B

现在，我们把舞台切换到拥有强大GPU的云端服务器。我们的目标不是对140亿参数的Qwen14B进行全参数微调（那需要惊人的显存和算力），而是采用高效的参数高效微调（PEFT） 方法，具体来说是LoRA（Low-Rank Adaptation）。它的原理可以简单理解为：我们冻结原始大模型的所有参数，只额外训练一小部分插入到模型结构中的、秩很低的适配器矩阵。训练完成后，你得到的不是一个完整的新模型，而是一个只有几十到几百MB的“小补丁”（LoRA权重）。

3.1 数据准备：如何制造高质量的“教材”

模型微调的效果，七分靠数据。我的业务场景需要模型理解特定的技术文档和API调用，所以我采用了“模板+关键词替换+LLM润色”的半自动数据生成流程。

  1. 构建种子指令池：首先，我手动编写了大约100条高质量的指令-回答对。例如：“请用Python写一个快速排序函数并附上注释。” 并给出标准答案。
  2. 设计模板与关键词库：分析这些种子指令，抽象出5-10个通用模板。比如：“请用[编程语言]实现一个[算法或功能]，要求[具体约束]。” 然后，我为[编程语言]、[算法或功能]、[具体约束]分别建立关键词库。
  3. 批量生成与LLM扩充：用脚本随机组合模板和关键词，生成数千条结构化的指令。但这还不够“自然”。我把这些指令丢给GPT-4，让它扮演“助教”，根据指令续写或润色出更丰富、更符合人类对话风格的答案。这一步极大地提升了数据的多样性和质量。
  4. 格式转换：最终，我得到了一个约4000条指令的数据集，并将其整理成LLaMA Factory要求的JSON格式，每条数据包含instruction、input（可选）、output字段。

3.2 使用LLaMA Factory进行QLoRA微调

LLaMA Factory是一个功能强大且用户友好的微调框架，它支持Qwen系列模型和QLoRA技术。QLoRA是LoRA的升级版，它在训练时进一步将基座模型量化为4位（NF4），使得在单张24GB显存的消费级显卡上微调Qwen14B成为可能。

在云端服务器上，操作步骤如下：

# 1. 克隆LLaMA Factory
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
# 2. 安装依赖（建议创建新的conda环境）
conda create -n llama_factory python=3.10 -y
conda activate llama_factory
pip install -r requirements.txt
# 3. 准备模型：下载Qwen1.5-14B-Chat的模型权重
# 你可以从ModelScope或Hugging Face下载
# 4. 配置数据：将之前准备好的json数据集放到data目录下
# 5. 开始QLoRA微调
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --model_name_or_path /path/to/Qwen1.5-14B-Chat \
    --do_train \
    --dataset your_dataset \
    --template qwen \
    --finetuning_type lora \
    --lora_target all \
    --output_dir ./output/qwen14b-lora \
    --overwrite_cache \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 500 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --quantization_bit 4  # 关键！启用4-bit QLoRA

训练结束后，在output_dir目录下，你会得到adapter_model.bin（LoRA权重）和adapter_config.json等文件。这个adapter_model.bin文件通常只有200MB左右，这就是我们需要同步到Jetson的“智慧结晶”。

4. 边缘端的魔法：模型合并、量化与格式转换

微调好的LoRA权重本身无法独立运行，它必须和原始的Qwen14B基座模型结合。我们在Jetson上要做的，就是完成这个“合体”仪式，并为了在边缘设备上高效运行，对合体后的模型进行“瘦身”（量化）。

4.1 下载基座模型与LoRA权重

首先，在Jetson的/data目录下，建立一个清晰的工作区。

mkdir -p /data/models/qwen14b
cd /data/models/qwen14b
# 假设你已经通过其他方式将云端微调好的LoRA权重（adapter_model.bin）和原始模型都放到了这里
# 原始模型目录结构应类似：/data/models/qwen14b/original/Qwen1.5-14B-Chat (包含pytorch_model.bin, config.json等)
# LoRA权重目录：/data/models/qwen14b/lora_output (包含adapter_model.bin, adapter_config.json)

4.2 使用llama.cpp进行模型合并与转换

llama.cpp是一个用C++编写的高效推理框架，对ARM CPU特别友好，并且提供了强大的模型量化工具。我们需要用它来执行三步关键操作：合并LoRA权重、转换为GGUF格式、进行量化。

第一步：编译llama.cpp

cd /data
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 在Jetson上编译，开启GPU加速支持（CUDA）
make LLAMA_CUBLAS=1 -j$(nproc)

编译完成后，会生成一系列工具，我们主要用到convert.py和quantize。

第二步：合并LoRA权重并转换为GGUF格式

GGUF是llama.cpp推出的新一代模型格式，替代了之前的GGML，它更灵活，包含了模型的所有必要信息（包括架构、分词器、超参数等）。

# 激活你的Python环境
conda activate ollama_deploy
# 安装必要的Python包
pip install torch transformers sentencepiece protobuf
# 执行转换合并脚本
python /data/llama.cpp/convert.py \
    --outfile /data/models/qwen14b/merged_qwen14b.fp16.gguf \
    --outtype f16 \
    --model /data/models/qwen14b/original/Qwen1.5-14B-Chat \
    --lora /data/models/qwen14b/lora_output \
    --lora-scale 1.0 \
    --vocab-type bpe

这个命令做了两件事：1. 将原始FP16模型与LoRA权重合并；2. 将合并后的PyTorch模型转换为FP16精度的GGUF格式。生成的merged_qwen14b.fp16.gguf文件大约26-28GB。

第三步：量化“瘦身”

FP16的模型对Jetson AGX Orin（64GB内存）来说虽然能跑，但推理速度慢，且同时运行其他程序可能内存吃紧。量化是必选项。llama.cpp支持多种量化等级，我实测下来，Q5_K_M是一个绝佳的平衡点，在几乎无损精度的情况下，将模型压缩到9GB左右，推理速度提升显著。

/data/llama.cpp/quantize \
    /data/models/qwen14b/merged_qwen14b.fp16.gguf \
    /data/models/qwen14b/merged_qwen14b.q5_k_m.gguf \
    q5_k_m

量化过程需要一些时间，耐心等待。完成后，你就得到了最终可以在边缘端高效部署的模型文件：merged_qwen14b.q5_k_m.gguf。

5. 部署与推理：用Ollama打造生产级服务

模型准备好了，我们需要一个简单易用、支持API的推理服务。Ollama完美胜任这个角色，它就像大模型界的Docker，能一键拉取和运行模型，并提供标准的OpenAI兼容API。

5.1 在Jetson上运行Ollama

得益于之前部署的jetson-containers，我们可以直接拉取为Jetson优化过的Ollama镜像。这里有个小技巧，由于网络原因，直接从Docker Hub拉取可能很慢。我推荐先在网络条件好的机器上拉取镜像ollama/ollama:0.1.35，然后通过docker save和docker load迁移到Jetson上。

在Jetson上，使用jetson-containers启动Ollama：

cd /data/jetson-containers
./docker/run.sh \
    --name ollama_server \
    --volume /data/models:/models \ # 将模型目录挂载进容器
    --volume /data/ollama:/root/.ollama \ # 持久化Ollama数据
    --publish 11434:11434 \
    ollama/ollama:0.1.35

5.2 导入自定义GGUF模型并运行

Ollama默认从它的模型库拉取，我们需要告诉它如何使用我们自制的GGUF模型。这通过创建一个Modelfile来实现。

在Jetson宿主机上（比如/data/models目录下），创建Modelfile.qwen14b-custom：

FROM /models/qwen14b/merged_qwen14b.q5_k_m.gguf

# 设置必要的参数
PARAMETER num_ctx 4096
PARAMETER temperature 0.7
# 指定模板格式为qwen，这对对话效果很重要
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

然后，在Ollama容器内部（或者通过docker exec进入容器），导入并运行这个模型：

# 进入容器
docker exec -it ollama_server bash
# 在容器内导入模型
ollama create qwen14b-custom -f /models/Modelfile.qwen14b-custom
# 启动模型服务（后台运行）
ollama run qwen14b-custom

5.3 测试与API调用

服务启动后，你就可以通过多种方式与你的边缘大模型交互了。

  1. 命令行直接对话：

    curl http://localhost:11434/api/generate -d '{
  "model": "qwen14b-custom",
  "prompt": "用Python写一个二分查找算法",
  "stream": false
}'

  2. 使用OpenAI兼容的API（这是最强大的地方，意味着所有兼容OpenAI的客户端、库都能直接使用）：

    curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "qwen14b-custom",
  "messages": [
    {"role": "system", "content": "你是一个编程助手"},
    {"role": "user", "content": "解释一下什么是递归"}
  ]
}'

在我的Jetson AGX Orin 64GB上，运行Q5_K_M量化的Qwen14B，实测的推理速度大约在 15-20 tokens/秒。对于边缘应用场景，如本地知识库问答、设备指令解析、实时文本分析等，这个速度已经完全可用。整个流程从云端微调到边缘服务上线，一旦跑通，后续迭代更新只需要传输那个200MB的LoRA权重文件，在Jetson上重新执行合并、量化、导入Ollama的步骤即可，真正实现了边缘AI模型的敏捷开发和部署。

# 边缘计算
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

Google能索引，AI却抓不到

很多技术团队有个错觉：只要Google能正常收录，内容就没问题。但现实是，你的页面在Google搜索结果里好好的，在ChatGPT、Perplexity、Claude的答案里却像从未存在过一样。

avatar DeepSeek技术社区

初识智能体

在过去两年中，几乎所有人都体验过大语言模型（如 ChatGPT、Claude、DeepSeek）的强大能力：写周报、润色邮件、解答编程疑难。被动响应：你问一句，它答一句。如果你的 Prompt 没有写清楚约束条件，它无法主动追问或修正目标。知行脱节：大模型能用流畅的文字告诉你“如何部署一个高可用 K8s 集群”，但它无法替你登录服务器敲下命令、查看报错日志并自动回滚。信息孤岛：大模型的知识止步于预

avatar DeepSeek技术社区

DeepSeek总结的时间旅行者的主键

来源：https://www.pgedge.com/blog/the-time-traveler-s-primary-key。

avatar DeepSeek技术社区