千问3.5-27B模型微调实战：提升OpenClaw任务成功率

1. 为什么需要微调千问3.5-27B？

当我第一次将OpenClaw接入千问3.5-27B时，发现它在简单任务上表现不错，但遇到复杂操作链时经常"卡壳"。比如让它整理一周的会议录音文件，它可能会漏掉关键步骤——要么忘记按日期分类，要么把不同项目的文件混在一起。这种"半吊子"自动化反而增加了我的复查工作量。

经过两周的日志分析，我发现问题集中在三类场景：

1. 多步骤任务规划：模型容易遗漏中间步骤（如解压后忘记删除临时文件）
2. 上下文记忆：长对话中会"忘记"早期设定的规则（如文件命名规范）
3. 工具调用顺序：有时会颠倒操作顺序（如先截图再打开应用）

这促使我尝试用微调来优化模型表现。选择千问3.5-27B是因为它的32K上下文窗口特别适合OpenClaw这种需要长期记忆的任务链，而且27B参数规模在消费级显卡上还能勉强跑动LoRA微调。

2. 构建OpenClaw专属微调数据集

2.1 收集原始失败案例

我从三个渠道收集了217个典型失败案例：

# 导出OpenClaw历史任务日志
openclaw logs export --type=failed --output=./fail_cases.json

# 提取关键字段示例
jq '.[] | {task: .task, error: .error, steps: .execution_chain}' fail_cases.json > cleaned_cases.json

这些案例覆盖了文件操作（35%）、网页自动化（28%）、数据处理（22%）和其他（15%）四大类。一个典型的文件整理失败案例长这样：

{
  "task": "将Downloads文件夹中的PDF按月份分类到~/Documents/Receipts",
  "error": "未处理2023年之前的文件",
  "steps": [
    "列出Downloads/*.pdf",
    "创建2024/01等文件夹",
    "移动2024年的文件"
  ]
}

2.2 数据增强与标注

原始错误日志需要转化为指令微调格式。我开发了一个转换脚本，自动补全正确操作链：

def convert_case(raw_case):
    bad_chain = raw_case["steps"]
    good_chain = fix_chain(bad_chain)  # 用规则引擎补全缺失步骤
    
    return {
        "instruction": raw_case["task"],
        "input": "",
        "output": json.dumps(good_chain),
        "history": [] 
    }

最终得到的数据集结构如下：

qwen_finetune_dataset/
├── train/
│   ├── file_ops.jsonl  # 文件操作类
│   ├── web_auto.jsonl  # 网页自动化类
│   └── data_proc.jsonl # 数据处理类
└── val/
    ├── file_ops.jsonl
    └── mixed.jsonl     # 混合类型验证集

3. LoRA微调实战

3.1 环境准备

使用星图平台的千问3.5-27B镜像，预装环境已经包含：

• CUDA 11.8
• PyTorch 2.2
• transformers==4.37.0

额外需要安装的包：

pip install peft==0.7.1 datasets==2.16.0 accelerate==0.25.0

3.2 关键训练参数

我的LoRA配置针对操作链优化做了特殊调整：

from peft import LoraConfig

lora_config = LoraConfig(
    r=16,  # 保持较低秩以适应操作步骤的离散性
    target_modules=["q_proj", "k_proj", "v_proj"], 
    lora_alpha=32,
    lora_dropout=0.05,
    task_type="CAUSAL_LM",
    bias="none"
)

训练命令示例：

accelerate launch qwen/train.py \
    --model_name_or_path Qwen/Qwen1.5-27B \
    --dataset_path ./qwen_finetune_dataset \
    --lora_rank 16 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --learning_rate 1e-5 \
    --num_train_epochs 3 \
    --lr_scheduler_type cosine \
    --warmup_ratio 0.03 \
    --logging_steps 10 \
    --save_steps 200 \
    --optim adamw_torch \
    --output_dir ./qwen-lora-openclaw

在4×RTX 4090上训练耗时约8小时。注意要监控显存使用：

watch -n 1 nvidia-smi

4. 部署与效果验证

4.1 合并LoRA适配器

训练完成后，将适配器合并到基础模型：

from peft import PeftModel

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-27B")
model = PeftModel.from_pretrained(model, "./qwen-lora-openclaw")
model = model.merge_and_unload()
model.save_pretrained("./qwen-27b-openclaw")

4.2 接入OpenClaw

修改OpenClaw配置文件~/.openclaw/openclaw.json：

{
  "models": {
    "providers": {
      "local_qwen": {
        "baseUrl": "http://localhost:5000/v1",
        "apiKey": "NULL",
        "api": "openai-completions",
        "models": [
          {
            "id": "qwen-27b-openclaw",
            "name": "Qwen-27B-OpenClaw",
            "contextWindow": 32768
          }
        ]
      }
    }
  }
}

启动模型API服务：

python -m vllm.entrypoints.openai.api_server \
    --model ./qwen-27b-openclaw \
    --served-model-name qwen-27b-openclaw \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9

4.3 效果对比测试

设计了三组对照实验：

测试1：文件整理任务

• 原始模型：完成度72%（漏掉压缩包处理）
• 微调后：完成度94%（自动解压并校验MD5）

测试2：网页数据采集

• 原始模型：平均需要3.2次追问才能获取完整数据
• 微调后：1.4次追问即可完成

测试3：跨应用自动化

• 原始模型：57%的任务需要人工干预
• 微调后：干预率降至23%

最惊喜的发现是模型学会了"安全回退"——当截图失败时，它会自动尝试用文本日志替代，而不是像之前直接报错。

5. 经验与避坑指南

这次微调过程中有几个关键收获：

1. 数据质量比数量重要：初期用500个简单案例效果反而不好，后来精选200+真实失败案例才突破效果瓶颈

2. 指令格式决定上限：

   • 错误示范："整理文件"
   • 正确示范："将~/Downloads/下的所有PDF按[YYYY-MM]格式分类到~/Documents/Receipts/，跳过小于1MB的文件"

3. GPU显存优化技巧：

   • 使用--gpu-memory-utilization 0.9避免OOM
   • 在Docker中训练时设置--shm-size=8g

4. OpenClaw集成注意点：

   • 修改配置后必须重启网关：openclaw gateway restart
   • 可用openclaw models list验证模型加载状态

微调后的模型现在能稳定处理我的日常自动化需求，特别是文件整理这类重复工作，成功率从原来的70%提升到了90%+。虽然前期数据准备花了大量时间，但看到它现在能准确执行像"把上周的会议录音转文字，提取action items插入Notion，再给相关人发飞书提醒"这样的复杂任务时，感觉一切都值得了。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。