推理服务从 0.5.4 升到 vLLM 0.6.2,同一批压测数据,P99 从 1.2 秒涨到 4.8 秒,QPS 只多了三成。GPU 利用率一直显示 92%,从面板上看不像闲着。
我先怀疑默认的 max_num_seqs 太小,把它从 256 调到 512,想再挤一点吞吐出来。结果 P99 直接破 6 秒,网关那边 504 告警一片。nvidia-smi 盯了半小时,显存稳在 71G,没有发生换页。
拉 /metrics 才看到 num_preemptions_total 十分钟涨了 1.4 万。调度器按 token 预算分配 KV cache block,序列一多,block 不够就把优先级最低的序列踢回等待队列,之后整段 prompt 重新算一遍。max_num_seqs 越大,被踢的越多,队列越排越长。
curl -s localhost:8000/metrics | grep -E "preemption|running"
# vllm:num_preemptions_total 十分钟涨 1.4 万
试过把 gpu_memory_utilization 从 0.9 提到 0.95,抢占少了一点,长请求一来还是把短请求挤掉。也试过把 max_num_batched_tokens 拉到 32768,单批变大,首字延迟更难看。
最后把 max_num_seqs 压回 64,max_num_batched_tokens 固定 8192,block_size 保持 16。P99 回到 1.4 秒,QPS 只掉 8%,抢占计数基本成了一条直线。
验证用同一批 2000 条请求回放三遍,同时看 P50、P99 和 preemption 三个指标,再拿业务侧日志核对首字延迟。跑了两天才把这组参数写进部署模板。
