微调 7B 模型时 batch_size 一到 16 就报 CUDA out of memory 怎么降显存占用 陆零云 2026-11-09 15:25:05 38 0 现象 在单张 24G 卡上微调 7B 模型,per_device_train_batch_size 设 8 能跑,改成 16 后训练几十步就抛 torch.cuda.OutOfMemoryError,提示 Tried to allocate 2.00 GiB。显存已经占到 23G。 原因 训练显存由权重、梯度、优化器状态和激活四块组成。7B 全参微调时权重和梯度各约 14G,优化器状态约 56G,单卡放不下,实际能跑的是 LoRA。batch_size 翻...