现象
用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。
原因
fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训练都恢复不了。
解决步骤
第一步,先换精度并打开裁剪。把 fp16 改成 bf16,学习率从 2e-4 降到 5e-5,同时设置梯度裁剪阈值,三项一起生效后再观察。
from transformers import TrainingArguments
args = TrainingArguments(
output_dir="./lora-out",
per_device_train_batch_size=2,
learning_rate=5e-5,
bf16=True,
max_grad_norm=1.0,
logging_steps=1,
)
第二步,清洗数据。过滤 token 长度为 0 的样本,确认 padding 不计入 loss,把标签里的 padding 位置统一设成 -100;长度分布差异大时按长度分桶,避免整批都是短样本。
第三步,加熔断。每一步检查 loss 是否为有限值,出现 nan 就保存当前 batch 的 id 并立即停止,方便复现;确认稳定后再把学习率一点点调回原值。
验证
训练跑满一个 epoch,loss 从 1.8 平滑降到 0.9 附近,没有出现 nan 或 inf;导出适配器后加载推理,回答风格与训练样本一致,不再重复同一句话。
小结
loss 变 nan 多是数值溢出或脏数据。bf16 加梯度裁剪先兜底,再清洗样本,最后加熔断,能省下大量重跑的时间。
