现象
在单张 24G 卡上微调 7B 模型,per_deviCe_train_batch_size 设 8 能跑,改成 16 后训练几十步就抛 torch.cuda.OutOfMemoryError,提示 Tried to allocate 2.00 GiB。显存已经占到 23G。
原因
训练显存由权重、梯度、优化器状态和激活四块组成。7B 全参微调时权重和梯度各约 14G,优化器状态约 56G,单卡放不下,实际能跑的是 LoRA。batch_size 翻倍会让激活值线性增长,序列越长占得越多。另外 PyTorch 的缓存分配器不会立刻释放空闲块,nvidia-smi 的数字包含缓存,不等于真实需求。
解决步骤
第一步,把显存账算清楚。打印已分配和峰值分配,导出内存快照,确认增长的是激活还是优化器状态。
import torch
print(torch.cuda.memory_allocated() / 1024**3)
print(torch.cuda.max_memory_allocated() / 1024**3)
torch.cuda.memory._dump_snapshot("snap.pickle")
第二步,用梯度累积换等效 batch。per_device_train_batch_size 降到 4,gradient_accumulation_steps 设成 4,等效 batch 仍是 16,激活占用降到四分之一。
第三步,换省显存的组合。优化器换成 bitsandbytes 的 8bit AdamW,打开 gradient_checkpointing 用重算换显存;再设环境变量 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 减少碎片。
验证
连续训练两百步不再抛 OOM,max_memory_allocated 稳定在 21G 以内;loss 曲线与 batch 8 时的趋势一致,说明等效 batch 起作用了。
小结
训练 OOM 要先算固定开销,再处理激活。梯度累积、8bit 优化器、激活重算三件事最省事,比单纯把 batch 缩到 1 更划算。
