reranker 显存不够加载失败 换 base 版后 MRR 掉 0.08 值不值 陆零云 2026-11-10 10:05:37 28 0 一台 4090 上跑 vLLM 服务 Qwen2.5-7B,已经吃掉 20GB,再加载 bge-reranker-large 做精排,进程直接抛 CUDA out of memory. Tried to allocate 2.00 GiB。把 max_length 从 512 降到 256,batch 从 16 降到 4,还是崩,剩余显存不到 1.8GB,large 这版 fp16 权重加激活就要 2.6GB。 试过把 reranker 放 CPU,单条...