私有化部署 Qwen2.5-7B-Instruct,单张 4090 24G,vLLM 0.6.3 起服务。压测 5 并发平均首字 1.2 秒,到 10 并发请求全部进 waiting 队列,TTFT 涨到 9 秒,nvidia-smi 显存 23.1G,GPU 利用率 100%。
先把 max-model-len 从默认 32768 降到 8192,显存回落到 20.4G,排队一点没缓解,说明瓶颈不是上下文长度,是 KV cache 块不够。gpu_memory_utilization 默认 0.9,扣掉权重和激活值只剩 2G 左右,7B 模型每 token 的 KV 约 0.5MB,8K 上下文单请求就要 4G,10 并发根本放不下。
试过把 gpu_memory_utilization 提到 0.95,显存 23.8G,KV 多了一点,一次 OOM 直接把服务打挂;试过 enforce-eager 关掉 CUDA graph,省了约 600MB,吞吐掉 18%,比排队更糟。
最后换 AWQ 量化版 Qwen2.5-7B-Instruct-AWQ,权重从 15.2G 降到 5.1G,gpu_memory_utilization 设 0.88,KV cache 拿到 12G,max-num-seqs 32,max-model-len 8192。10 并发 TTFT 1.6 秒,30 并发 3.8 秒,waiting 队列长度峰值 3。
batch 不是越大越好,max-num-batched-tokens 保持默认 8192,往上调会挤占 KV 空间,反而把并发数顶回去。量化后中文指令跟随有轻微下降,用 200 条业务集抽检,通过率从 96% 到 94%,可以接受。
确认用 vLLM 自带的 benchmark_serving.py 跑 30 并发 200 请求,P99 TTFT 4.2 秒,全程无 OOM,这才算配平。
args = [
"vllm", "serve",
"/models/Qwen2.5-7B-Instruct-AWQ",
"--max-model-len", "8192",
"--gpu-memory-utilization", "0.88",
"--max-num-seqs", "32",
"--max-num-batched-tokens", "8192",
] 