vLLM 0.6 启动报显存不足 ValueError 该怎么降低占用

现象

24G 显存的卡上用 vLLM 0.6.3 加载 7B 模型,进程启动十几秒就退出,日志最后一行是 ValueError: Free memory on device cuda:0 is less than desired GPU memory utilization。机器上没有别的训练任务,把张量并行改成 2 仍然一样。

原因

vLLM 默认按 gpu_memory_utilization=0.9 去预留整卡显存,权重、KV Cache、CUDA context 和临时激活都算在这份预算里。7B 的 FP16 权重约 14G,如果 max_model_len 还设成 32768,KV Cache 的预估会再翻一倍,检查阶段直接判定不足。日志里的 free memory 是扣掉驱动和残留进程之后的真实值,不是显卡标称容量。

解决步骤

第一步,确认真实占用和残留进程。先看显存有没有被之前的进程占着,再用较小的预留比例和上下文长度试启动,把变量一次只改一个。

nvidia-smi --query-gpu=memory.used,memory.total \
  --format=csv
python -m vllm.entrypoints.openai.api_server \
  --model Qwen2.5-7B-Instruct \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --enforce-eager

第二步,压缩上下文预算。把 max_model_len 降到 8192,请求侧再用 max_tokens 限制输出长度;长文档场景改成先切块再逐段总结,不要把所有内容一次性塞进一次请求。仍然不够时换 AWQ 或 GPTQ 的 4bit 权重,7B 的占用可以降到 6G 左右。

第三步,按卡数调整并行参数。只有多卡时才加 --tensor-parallel-size,单卡加上去会多占一份通信缓冲。启动参数固定后写进 systemd 或启动脚本,避免每次手工改。

验证

日志出现 Application startup complete 后,请求 /v1/models 和一次 chat/completions,返回 200,同时 nvidia-smi 的占用稳定在 20G 以内并留出 2G 余量,说明配置合理。

小结

这类显存不足多数不是卡太小,而是默认预留比例和上下文长度叠加超了预算。顺序是先降 gpu_memory_utilization,再降 max_model_len,最后才考虑量化。

您可以还会对下面的文章感兴趣: