现象:加载能过,生成到一半就崩
本地用 transformers 或 vLLM 加载 7B 模型,终端抛出 torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.50 GiB。8GB 显存的显卡跑 7B 几乎必现;也有加载正常、对话几轮后上下文变长才崩的情况。
原因:三部分显存叠加
- 模型权重:fp16 下每十亿参数约 2GB,7B 光权重就要 14GB,已经超过多数消费级显卡;
- KV Cache 与中间激活:上下文越长、并发越多占用越高,所以常见"加载正常、生成到一半才崩";
- 分配器缓存与残留进程:异常退出留下的进程仍占着显存,可用空间被进一步压缩。
解决步骤
第一步,先看真实占用。确认没有僵尸 python 进程占着几 GB,否则换什么模型都会报错:
nvidia-smi
第二步,8GB 显存直接用 4bit 量化。权重体积压到 5GB 以内,加上 KV cache 仍能跑起来:
ollama run qwen2.5:7b-instruct-q4_K_M
第三步,坚持用 transformers 时必须显式半精度。很多示例省略了 torch_dtype,默认按 fp32 加载,显存直接翻倍,这是最常见的坑:
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
第四步,压住运行时开销。给生成长度设上限,避免 KV cache 无限增长;开启可扩展段管理缓解碎片:
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
第五步,vLLM 部署时先限并发和上下文。默认按显存比例抢占,长上下文请求一多直接 OOM。启动参数里把显存占用和最大长度显式写死,再按实际显存回调:
vllm serve ./qwen2.5-7b \
--gpu-memory-utilization 0.85 \
--max-model-len 4096 \
--max-num-seqs 4
仍然不够就用 accelerate 把部分层卸载到内存,速度会慢,但能把流程跑通,适合调试阶段临时用。内存也要留够,否则数据继续落到硬盘,速度进一步下降。显存报错信息里的 Tried to allocate 数值只能当参考,实际缺口往往更大,因为碎片化让可用块凑不成连续空间。
小结
OOM 的本质是需求超过剩余显存。按顺序做三件事:nvidia-smi 确认真实占用,量化压缩权重,半精度加载并限制生成长度。8GB 优先 Q4,12GB 以上再试 fp16 的 7B。
