陆零云
35
0
现象
用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。
原因
fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训...
陆零云
38
0
现象
在单张 24G 卡上微调 7B 模型,per_device_train_batch_size 设 8 能跑,改成 16 后训练几十步就抛 torch.cuda.OutOfMemoryError,提示 Tried to allocate 2.00 GiB。显存已经占到 23G。
原因
训练显存由权重、梯度、优化器状态和激活四块组成。7B 全参微调时权重和梯度各约 14G,优化器状态约 56G,单卡放不下,实际能跑的是 LoRA。batch_size 翻...