vLLM 0.6 并发调到 256 后 P99 从 1.2 秒涨到 4.8 秒 批次怎么定

推理服务从 0.5.4 升到 vLLM 0.6.2,同一批压测数据,P99 从 1.2 秒涨到 4.8 秒,QPS 只多了三成。GPU 利用率一直显示 92%,从面板上看不像闲着。

我先怀疑默认的 max_num_seqs 太小,把它从 256 调到 512,想再挤一点吞吐出来。结果 P99 直接破 6 秒,网关那边 504 告警一片。nvidia-smi 盯了半小时,显存稳在 71G,没有发生换页。

拉 /metrics 才看到 num_preemptions_total 十分钟涨了 1.4 万。调度器按 token 预算分配 KV cache block,序列一多,block 不够就把优先级最低的序列踢回等待队列,之后整段 prompt 重新算一遍。max_num_seqs 越大,被踢的越多,队列越排越长。

curl -s localhost:8000/metrics | grep -E "preemption|running"
# vllm:num_preemptions_total 十分钟涨 1.4 万

试过把 gpu_memory_utilization 从 0.9 提到 0.95,抢占少了一点,长请求一来还是把短请求挤掉。也试过把 max_num_batched_tokens 拉到 32768,单批变大,首字延迟更难看。

最后把 max_num_seqs 压回 64,max_num_batched_tokens 固定 8192,block_size 保持 16。P99 回到 1.4 秒,QPS 只掉 8%,抢占计数基本成了一条直线。

验证用同一批 2000 条请求回放三遍,同时看 P50、P99 和 preemption 三个指标,再拿业务侧日志核对首字延迟。跑了两天才把这组参数写进部署模板。

您可以还会对下面的文章感兴趣: