显存里的 KV cache 只够 1.2GB 并发到 8 一直 OOM 怎么调 陆零云 2026-11-11 12:27:31 37 0 24GB 的 4090 上跑 Qwen2.5-7B,vLLM 0.6 启动时把显存利用率设 0.9,单请求最长上下文给 32768。并发压到 8 就报 ValueError: No available memory for the cache blocks,nvidia-smi 里只剩 1.2GB,一个 32K 请求的 KV 都放不下。 第一反应是并发开太高,把并发请求数从 8 降到 4,能跑,吞吐掉一半,P99 从 1.6 秒涨到 3.4 秒。又把最长上...