bge-reranker-large 和 7B 模型同卡部署爆 OOM 显存怎么分配

陆零云 35 0
现象 一张 24G 卡上先起 vLLM 跑 7B 对话模型,再加载 bge-reranker-large 做精排,第一次 rerank 请求就报 CUDA out of memory,紧接着 vLLM 进程也被挤掉,两个接口一起返回 500,只能重启。 原因 vLLM 默认按整卡 90% 预留显存,留给其他进程的空间很小。reranker 权重只有 1G 出头,但一次送 32 条候选、每条 512 token,激活和中间张量会瞬间涨到几个 G。两个进程各自...