vLLM 0.6 并发调到 256 后 P99 从 1.2 秒涨到 4.8 秒 批次怎么定 陆零云 2026-11-11 12:03:18 30 0 推理服务从 0.5.4 升到 vLLM 0.6.2,同一批压测数据,P99 从 1.2 秒涨到 4.8 秒,QPS 只多了三成。GPU 利用率一直显示 92%,从面板上看不像闲着。 我先怀疑默认的 max_num_seqs 太小,把它从 256 调到 512,想再挤一点吞吐出来。结果 P99 直接破 6 秒,网关那边 504 告警一片。nvidia-smi 盯了半小时,显存稳在 71G,没有发生换页。 拉 /metrics 才看到 num_preempti...