周三下午把 Qwen2.5-7B 从 transformers 迁到 vLLM 0.6.3,启动时只写了上下文长度三万二千和显存占比零点八五,24G 的卡上直接抛 ValueError,说没有可用的缓存块,让我调大显存占比或者减小上下文。服务没起来,日志里连端口都没监听。
第一反应是把上下文砍到一万六千,这次起来了,可知识库里有三份两万字的合同,请求过去只处理前六千字,回答开始漏付款条款。又把显存占比提到零点九五,能启动,但并发组只给出一个,八个请求全在排队,尾延迟从一点四秒涨到七点二秒,客服那边直接来问是不是服务挂了。
静下心算了一遍。七十亿参数的半精度权重占十五点二吉,二十四吉乘零点八五剩五点二吉,三万二千 token 的缓存按二十八层分组查询注意力估算要三点九吉,预填充激活还要一点六吉,三块加起来已经超过余量,报错并不冤。把缓存类型改成八位浮点,占用减半,并发限到四,单批 token 压到八千一百九十二,余量才出来。
from vllm import LLM
llm = LLM(
model="Qwen/Qwen2.5-7B-Instruct",
max_model_len=32768,
gpu_memory_utilization=0.90,
kv_cache_dtype="fp8",
max_num_seqs=4,
max_num_batched_tokens=8192,
)
print(llm.llm_engine.cache_config.num_gpu_blocks)
重新启动,日志里缓存使用率停在百分之六十八,显卡监控稳定在二十二点四吉。用十二个并发打二百次请求,首 token 中位三百一十毫秒,输出速率七百八十 token 每秒,一次显存溢出都没有。那份两万字合同分两段送进去,付款条款和违约金比例都能原样引用。
还要确认块大小。默认十六,改成三十二后同样显存能多放百分之六的块,但单请求的内部浪费变大,短问题反而慢四十毫秒。我保持十六,把长合同单独走一个上下文更小的实例,两类流量分开,谁也不拖谁。
八位缓存走的是 E4M3,长上下文数值范围够用,但温度调到一点二以上时,重复句子比半精度多出三个百分点。做创意文案的接口我没开这项,宁可把上下文退回二万四千五百七十六。现在启动脚本会把上下文和实际显存打进一行日志,换机器时先看这行,比盲调参数快得多。
