vLLM 0.6.3 启动报 KV cache 不足 显存参数怎么改

陆零云 33 0
周三下午把 Qwen2.5-7B 从 transformers 迁到 vLLM 0.6.3,启动时只写了上下文长度三万二千和显存占比零点八五,24G 的卡上直接抛 ValueError,说没有可用的缓存块,让我调大显存占比或者减小上下文。服务没起来,日志里连端口都没监听。 第一反应是把上下文砍到一万六千,这次起来了,可知识库里有三份两万字的合同,请求过去只处理前六千字,回答开始漏付款条款。又把显存占比提到零点九五,能启动,但并发组只给出一个,八个请求全在排...