vLLM 0.6.4 开了 chunked prefill 首字延迟反涨 400 ms 参数怎么配

上周把推理服务从 0.5.4 升到 vLLM 0.6.4,首字延迟的 P95 从 620 毫秒变成 1.05 秒,监控里预填充阶段被切成了三块。压测脚本没换,2000 条请求,提示词平均 5800 个 token,显卡是单张 4090。

第一反应是并发打太高,把同时处理的请求数从 128 压到 64。首字回到 780 毫秒,吞吐掉三成,等于拿产能换延迟,不划算。又在启动参数里关掉分块预填,首字确实回到 580 毫秒,可只要长提示词进来就把解码卡住,其他请求的单字耗时从 42 毫秒抖到 130 毫秒,长尾比原来更难看。

翻文档才明白,分块预填是按单批 token 上限切块的,默认 2048,5800 个 token 的提示词要切三次,块与块之间插着别人的解码步骤,排队自然变长。把这个上限提到 8192,长提示词一次装完,代价是单步显存峰值高一截,所以并发同时收到 96,显存占用比例保持 0.9 没动。

args = [
    "vllm", "serve", "Qwen2.5-7B-Instruct",
    "--max-num-batched-tokens", "8192",
    "--max-num-seqs", "96",
    "--enable-prefix-caching",
    "--gpu-memory-utilization", "0.90",
]

顺手开了前缀缓存,我们的系统提示是同一段,命中率能到 41%,这一项又压了 90 毫秒。它跟块大小是两件事,不冲突,但缓存命中的请求预填充本来就更短,块数统计要单独排除,不然看指标会以为切块问题没解决。

这台机器还跑着一个小模型做意图分类,显存本来就紧。上限提到 8192 之后,显存水位从 19GB 涨到 21GB,剩下的空间只够两个长请求同时在场。后来加了准入控制,超过 6000 个 token 的请求排队等空位,不许直接塞进来,抖动就没了。

重放那 2000 条请求,首字延迟 P95 是 640 毫秒,P99 是 890 毫秒,吞吐回到原来的 92%,单字耗时稳定在 45 毫秒。观察两天没再出现块间插队。

判断有没有调对,别只盯平均值。我把预填充块数打进日志,块数大于 2 的请求占比从 78% 降到 6%,这个数字比 P95 直观,出问题能立刻看出是切块还是排队。上限也不是越大越好,超过 8192 之后显存峰值会顶到 22GB,再并发几个长请求就爆掉,我试过 16384,跑了 40 分钟崩了一次。

您可以还会对下面的文章感兴趣: