本地跑大模型报 CUDA out of memory 怎么解决

现象:加载能过,生成到一半就崩

本地用 transformers 或 vLLM 加载 7B 模型,终端抛出 torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.50 GiB。8GB 显存的显卡跑 7B 几乎必现;也有加载正常、对话几轮后上下文变长才崩的情况。

原因:三部分显存叠加

  • 模型权重:fp16 下每十亿参数约 2GB,7B 光权重就要 14GB,已经超过多数消费级显卡;
  • KV Cache 与中间激活:上下文越长、并发越多占用越高,所以常见"加载正常、生成到一半才崩";
  • 分配器缓存与残留进程:异常退出留下的进程仍占着显存,可用空间被进一步压缩。

解决步骤

第一步,先看真实占用。确认没有僵尸 python 进程占着几 GB,否则换什么模型都会报错:

nvidia-smi

第二步,8GB 显存直接用 4bit 量化。权重体积压到 5GB 以内,加上 KV cache 仍能跑起来:

ollama run qwen2.5:7b-instruct-q4_K_M

第三步,坚持用 transformers 时必须显式半精度。很多示例省略了 torch_dtype,默认按 fp32 加载,显存直接翻倍,这是最常见的坑:

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

第四步,压住运行时开销。给生成长度设上限,避免 KV cache 无限增长;开启可扩展段管理缓解碎片:

export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

第五步,vLLM 部署时先限并发和上下文。默认按显存比例抢占,长上下文请求一多直接 OOM。启动参数里把显存占用和最大长度显式写死,再按实际显存回调:

vllm serve ./qwen2.5-7b \
  --gpu-memory-utilization 0.85 \
  --max-model-len 4096 \
  --max-num-seqs 4

仍然不够就用 accelerate 把部分层卸载到内存,速度会慢,但能把流程跑通,适合调试阶段临时用。内存也要留够,否则数据继续落到硬盘,速度进一步下降。显存报错信息里的 Tried to allocate 数值只能当参考,实际缺口往往更大,因为碎片化让可用块凑不成连续空间。

小结

OOM 的本质是需求超过剩余显存。按顺序做三件事:nvidia-smi 确认真实占用,量化压缩权重,半精度加载并限制生成长度。8GB 优先 Q4,12GB 以上再试 fp16 的 7B。

您可以还会对下面的文章感兴趣: