24GB 的 4090 上跑 Qwen2.5-7B,vLLM 0.6 启动时把显存利用率设 0.9,单请求最长上下文给 32768。并发压到 8 就报 ValueError: No available memory for the cache blocks,nvidia-smi 里只剩 1.2GB,一个 32K 请求的 KV 都放不下。
第一反应是并发开太高,把并发请求数从 8 降到 4,能跑,吞吐掉一半,P99 从 1.6 秒涨到 3.4 秒。又把最长上下文砍到 8192,KV 够用了,长文档请求直接被拒,业务不认。
算了一笔账,7B 的 fp16 权重 15GB,32K 上下文单个请求 KV 约 4GB,剩下 6GB 只够一个半请求。降上下文长度治不了根,权重占得太多。换 4bit 权重能省 9GB,但要重做评测,周期太长。
先试 fp8 的 KV cache,缓存类型设成 fp8,KV 占用直接减半,6GB 能放三个 32K 请求。精度上跑 500 条长文问答,和 fp16 的答案一致率 98.6%,可以接受。再把块大小从 16 调到 32,块表开销少 40%,长请求的碎片也少。参数名在配置里改一次就够,别在代码里再写死一份。
from vllm import LLM
llm = LLM(model="/models/qwen2.5-7b",
max_model_len=32768,
gpu_memory_utilization=0.92,
max_num_seqs=8,
kv_cache_dtype="fp8",
block_size=32)
改完并发 8 稳定,P99 1.8 秒,32K 请求不再被拒。日志里那条显存不足的报错再没出现,启动打印的 KV 容量从 1.1GB 变成 9.8GB。
顺带把日志调到调试级别,看每次请求实际占用的块数。32K 请求在 fp16 下要 512 个块,每块 16 个 token,块表本身还占 80MB。改成 fp8 后块数没变,单块字节减半,同样的显存能多放一倍请求。这个账算清楚,再调参数就不靠猜了。
另一个坑是前缀缓存没开,多轮对话每轮都把整段历史重算,KV 反复占着不释放。打开前缀缓存后,同一会话第二轮开始复用前面的块,显存峰值降了 1.8GB,首 token 从 320 毫秒到 140 毫秒。命中率在日志里能看到,低于三成就要查提示词是不是每次都变。
判断够不够别只看剩余显存。启动日志会打印可用 KV 块数,块数乘每块字节数,再除以单请求 KV 大小,才是真实并发上限。这个数比显存数字准得多。
