bge-reranker-large 和 7B 模型同卡部署爆 OOM 显存怎么分配

现象

一张 24G 卡上先起 vLLM 跑 7B 对话模型,再加载 bge-reranker-large 做精排,第一次 rerank 请求就报 CUDA out of memory,紧接着 vLLM 进程也被挤掉,两个接口一起返回 500,只能重启。

原因

vLLM 默认按整卡 90% 预留显存,留给其他进程的空间很小。reranker 权重只有 1G 出头,但一次送 32 条候选、每条 512 token,激活和中间张量会瞬间涨到几个 G。两个进程各自预分配,谁也不释放,最后就是互相踩踏。显存不足时报错位置常出现在 reranker,根源却在对话服务的预留策略上。

解决步骤

第一步,看两边的真实占用。服务起来后分别记录每个进程的显存,确认是 vLLM 预留过多,还是 rerank 的批量太大。

nvidia-smi --query-compute-apps=pid,used_memory \
  --format=csv
python -c "import torch; print(torch.cuda.memory_allocated()/2**30)"

第二步,给 vLLM 留余量。启动时把 gpu_memory_utilization 降到 0.7,max_model_len 压到 8192,让它按需增长而不是一次占满;并发数也用 max_num_seqs 限制住。

第三步,限制 rerank 的批量。候选数从 32 降到 8,单条截断到 512 token,用 fp16 加载并放在 inference_mode 里跑;量再大就把 reranker 拆到 CPU 或独立一张卡。

验证

同时压测对话和精排十分钟,两边都不再 OOM,nvidia-smi 总占用稳定在 22G 以下;rerank 的 p99 延迟在接受范围内,top1 结果与单独部署时一致。

小结

同卡部署的关键是给每个进程划清预算。vLLM 降预留、rerank 降批量,实在挤不下就拆卡或上 CPU,别指望驱动自动协调。

您可以还会对下面的文章感兴趣: