一台 4090 上跑 vLLM 服务 Qwen2.5-7B,已经吃掉 20GB,再加载 bge-reranker-large 做精排,进程直接抛 CUDA out of memory. Tried to allocate 2.00 GiB。把 max_length 从 512 降到 256,batch 从 16 降到 4,还是崩,剩余显存不到 1.8GB,large 这版 fp16 权重加激活就要 2.6GB。
试过把 reranker 放 CPU,单条 40 个候选要 2.1 秒,检索接口 P95 从 380 毫秒涨到 2.4 秒,扛不住。也试过 8bit 量化,显存降到 1.6GB,但分数分布被压扁,同一批 query 的排序和 fp16 只有 0.71 的 Kendall 一致度,不敢上线。还把候选数从 50 降到 20,显存省了 300MB,但召回侧的漏检变多,只能作罢。
最后换成 bge-reranker-base,显存 1.1GB,batch 16 能跑。离线评测 1200 条 query,MRR 从 0.78 掉到 0.70,nDCG@10 从 0.81 掉到 0.76,掉 0.08 不算小。把召回从 top20 放到 top50,先粗排截断再精排,nDCG@10 回到 0.79。评测集来自线上日志,标注只保留一个正确段落。
pairs = [(q, d["text"]) for d in cands]
with torch.inference_mode():
score = model.predict(pairs, batch_size=8,
max_length=512,
show_progress_bar=False)
order = score.argsort()[::-1][:5]
线上观察一周,答案里引用错段落的比例从 4.1% 升到 5.3%,仍在可接受范围。真要保住 large,只能单独一张卡或者换 24GB 以上的机器,和 LLM 挤在一张卡上迟早还会 OOM。如果业务对精度敏感,宁可把 LLM 换成 4bit 量化腾出 3GB,也不要动精排模型。
