陆零云
33
0
周三下午把 Qwen2.5-7B 从 transformers 迁到 vLLM 0.6.3,启动时只写了上下文长度三万二千和显存占比零点八五,24G 的卡上直接抛 ValueError,说没有可用的缓存块,让我调大显存占比或者减小上下文。服务没起来,日志里连端口都没监听。
第一反应是把上下文砍到一万六千,这次起来了,可知识库里有三份两万字的合同,请求过去只处理前六千字,回答开始漏付款条款。又把显存占比提到零点九五,能启动,但并发组只给出一个,八个请求全在排...
陆零云
37
0
24GB 的 4090 上跑 Qwen2.5-7B,vLLM 0.6 启动时把显存利用率设 0.9,单请求最长上下文给 32768。并发压到 8 就报 ValueError: No available memory for the cache blocks,nvidia-smi 里只剩 1.2GB,一个 32K 请求的 KV 都放不下。
第一反应是并发开太高,把并发请求数从 8 降到 4,能跑,吞吐掉一半,P99 从 1.6 秒涨到 3.4 秒。又把最长上...