PEFT 0.12 跑 LoRA 微调 loss 突然变 nan 训练中断怎么排查

现象

用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。

原因

fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训练都恢复不了。

解决步骤

第一步,先换精度并打开裁剪。把 fp16 改成 bf16,学习率从 2e-4 降到 5e-5,同时设置梯度裁剪阈值,三项一起生效后再观察。

from transformers import TrainingArguments
args = TrainingArguments(
    output_dir="./lora-out",
    per_device_train_batch_size=2,
    learning_rate=5e-5,
    bf16=True,
    max_grad_norm=1.0,
    logging_steps=1,
)

第二步,清洗数据。过滤 token 长度为 0 的样本,确认 padding 不计入 loss,把标签里的 padding 位置统一设成 -100;长度分布差异大时按长度分桶,避免整批都是短样本。

第三步,加熔断。每一步检查 loss 是否为有限值,出现 nan 就保存当前 batch 的 id 并立即停止,方便复现;确认稳定后再把学习率一点点调回原值。

验证

训练跑满一个 epoch,loss 从 1.8 平滑降到 0.9 附近,没有出现 nan 或 inf;导出适配器后加载推理,回答风格与训练样本一致,不再重复同一句话。

小结

loss 变 nan 多是数值溢出或脏数据。bf16 加梯度裁剪先兜底,再清洗样本,最后加熔断,能省下大量重跑的时间。

您可以还会对下面的文章感兴趣: