PEFT 0.12 跑 LoRA 微调 loss 突然变 nan 训练中断怎么排查

陆零云 35 0
现象 用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。 原因 fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训...