vLLM 0.6.4 开了 chunked prefill 首字延迟反涨 400 ms 参数怎么配 陆零云 2026-11-14 14:38:37 35 0 上周把推理服务从 0.5.4 升到 vLLM 0.6.4,首字延迟的 P95 从 620 毫秒变成 1.05 秒,监控里预填充阶段被切成了三块。压测脚本没换,2000 条请求,提示词平均 5800 个 token,显卡是单张 4090。 第一反应是并发打太高,把同时处理的请求数从 128 压到 64。首字回到 780 毫秒,吞吐掉三成,等于拿产能换延迟,不划算。又在启动参数里关掉分块预填,首字确实回到 580 毫秒,可只要长提示词进来就把解码卡住,其他请求...