LLaMA Factory训练Loss曲线诊断：用WandB精准定位模型收敛问题

1. 理解训练Loss曲线的关键特征

当你使用LLaMA Factory进行模型训练时，Loss曲线就像模型健康的"心电图"，能直观反映学习过程的动态变化。一个健康的训练过程通常呈现三个阶段：快速下降期、平稳过渡期和稳定收敛期。但实际训练中，我们常会遇到各种异常曲线形态，这些异常背后往往隐藏着模型架构、数据质量或超参数设置的问题。

典型健康Loss曲线的特征：

• 训练初期Loss快速下降（通常在前10%的训练步数内）
• 中期下降速度逐渐减缓
• 后期在某个值附近小幅波动并趋于稳定
• 训练Loss和验证Loss的差距保持在合理范围内（通常不超过20%）

常见异常模式及对应问题：

异常模式	可能原因	典型场景
剧烈震荡	学习率过高	batch size过小
持续上升	模型架构缺陷	梯度爆炸
平台期不降	学习率过低	优化器失效
训练/验证差距大	过拟合	数据量不足

注意：不同任务类型的Loss基准值差异很大。分类任务中CrossEntropy Loss降到0.3以下通常表现良好，而语言模型Perplexity在2-20之间都属正常范围。

2. 配置WandB进行深度训练监控

Weights & Biases（WandB）是诊断训练问题的"显微镜"，它能实时捕获并可视化数十种训练指标。要在LLaMA Factory中启用完整监控，需要在训练脚本中添加以下关键配置：

# WandB基础配置示例
report_to = "wandb"
wandb_project = "llama_factory_tuning"
wandb_entity = "your_team_name"
wandb_watch = "all"  # 监控梯度分布和参数变化

高级监控项配置：

# 在训练命令中添加这些参数
--logging_steps 10 \             # 每10步记录一次
--eval_steps 50 \               # 每50步验证一次
--report_to wandb \             # 启用WandB报告
--wandb_run_name exp_001_lr5e-5 \  # 实验命名
--save_total_limit 2 \          # 控制检查点数量

关键监控面板建议：

1. Loss全景视图：同时显示train/val loss，设置y轴为log尺度
2. 梯度分布：监控各层梯度均值/方差
3. 参数变化：跟踪关键参数如lora层的权重变化
4. 资源利用：GPU显存、利用率随时间变化

3. 典型异常诊断与解决方案

3.1 Loss剧烈震荡问题

当曲线呈现高频大幅度波动时（如下图），通常表明优化过程不稳定：

诊断步骤：

1. 检查WandB的gradient_norm指标
2. 查看各层梯度分布直方图
3. 验证学习率与batch size的匹配性

调整方案：

# 优化器参数调整示例
optim = AdamW(
    model.parameters(),
    lr=5e-5,              # 初始尝试3e-5到5e-5
    betas=(0.9, 0.999),
    weight_decay=0.01,    # 增加正则化
    eps=1e-8
)

# 学习率调度器调整
scheduler = get_cosine_schedule_with_warmup(
    optim,
    num_warmup_steps=500,  # 适当增加warmup
    num_training_steps=total_steps
)

3.2 模型不收敛问题

当Loss长期不下降时，需要系统性排查：

诊断检查清单：

1. 数据流验证

   # 检查数据加载是否正确
   sample = next(iter(train_loader))
   print(sample["input_ids"].shape)  # 预期: [batch, seq_len]
   

2. 模型前向验证

   with torch.no_grad():
     output = model(**sample)
     print(output.loss)  # 确认初始loss合理
   

3. 参数更新检查

   # 训练一步后检查参数变化
   for name, param in model.named_parameters():
     if param.grad is not None:
       print(f"{name}: {param.data.mean().item():.4f} -> {param.grad.mean().item():.4f}")
   

常见修复策略：

问题类型	解决方案	参数调整示例
梯度消失	检查初始化/激活函数	init_range=0.02
数据噪声	增强预处理	--max_samples 50000
架构不适配	调整LoRA配置	--lora_rank 32

4. 高级调优技巧

4.1 动态监控策略

在WandB中设置智能告警规则：

# 配置异常检测规则
wandb.alert(
    title="Loss异常",
    text=f"训练Loss连续10次不下降",
    level=wandb.AlertLevel.WARN,
    wait_duration=300  # 5分钟检测周期
)

4.2 关键参数联动调整

建立学习率与batch size的协同关系：

# 自动缩放规则
base_batch = 32
base_lr = 3e-5

current_batch = 64
scaled_lr = base_lr * (current_batch / base_batch)

优化器参数推荐组合：

模型规模	学习率	Batch Size	Warmup Steps
7B	2e-5	32-64	500-1000
13B	1e-5	16-32	1000-1500
30B+	5e-6	8-16	2000+

4.3 混合精度训练优化

当使用FP16混合精度时，需特别注意：

--fp16 True \                  # 启用混合精度
--gradient_checkpointing True \  # 节省显存
--gradient_accumulation_steps 4 \  # 模拟大batch

警告：当Loss出现NaN时，尝试添加--fp16_opt_level O2或切换为bf16

5. 实战案例：三分类任务调优

某实际项目中，我们遇到w-explain类别不收敛的问题，通过WandB分析发现：

关键发现：

• 该类别样本量仅为其他类的1/3
• 梯度分布呈现双峰特征
• 验证Loss早于训练Loss开始上升

解决方案：

1. 数据层面：

   # 添加类别权重
   from torch.nn import CrossEntropyLoss
   criterion = CrossEntropyLoss(
       weight=torch.tensor([1.0, 3.0, 1.0])  # 对少数类加权
   )
   

2. 模型层面：

   --lora_dropout 0.1 \          # 增加正则化
   --lora_alpha 32 \             # 增强适配强度
   

3. 训练策略：

   --max_samples 80000 \         # 均衡采样
   --gradient_accumulation_steps 16 \  # 稳定训练
   

调整后模型在验证集上的F1分数从0.52提升到0.81，训练曲线显示各类别收敛速度趋于一致。