PEFT 0.12 跑 LoRA 微调 loss 突然变 nan 训练中断怎么排查

陆零云 35 0
现象 用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。 原因 fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训...

微调 7B 模型时 batch_size 一到 16 就报 CUDA out of memory 怎么降显存占用

陆零云 38 0
现象 在单张 24G 卡上微调 7B 模型,per_device_train_batch_size 设 8 能跑,改成 16 后训练几十步就抛 torch.cuda.OutOfMemoryError,提示 Tried to allocate 2.00 GiB。显存已经占到 23G。 原因 训练显存由权重、梯度、优化器状态和激活四块组成。7B 全参微调时权重和梯度各约 14G,优化器状态约 56G,单卡放不下,实际能跑的是 LoRA。batch_size 翻...