vLLM 0.6 并发到 10 就开始排队 | 24G 显存 batch 怎么配

陆零云 49 0
私有化部署 Qwen2.5-7B-Instruct,单张 4090 24G,vLLM 0.6.3 起服务。压测 5 并发平均首字 1.2 秒,到 10 并发请求全部进 waiting 队列,TTFT 涨到 9 秒,nvidia-smi 显存 23.1G,GPU 利用率 100%。 先把 max-model-len 从默认 32768 降到 8192,显存回落到 20.4G,排队一点没缓解,说明瓶颈不是上下文长度,是 KV cache 块不够。gpu_mem...