vLLM 0.6.4 换机器加载 AWQ 报未知量化 后端怎么补齐

陆零云 27 0
一张 4090 上跑 Qwen2.5-7B 的 AWQ 四比特模型,从开发机搬到生产机,启动直接抛 ValueError: Unknown quantization method: awq,后面跟着一列支持的方法。同一个模型目录在开发机能起,生产机不行,第一反应是权重文件没拷全。 对着 md5 校验了一遍,七个分片都在。又确认 config.json 里 quantization_config 写的是 awq,字段没丢。两边的 vLLM 都是 0.6.4,...

vLLM 0.6.4 开了 chunked prefill 首字延迟反涨 400 ms 参数怎么配

陆零云 35 0
上周把推理服务从 0.5.4 升到 vLLM 0.6.4,首字延迟的 P95 从 620 毫秒变成 1.05 秒,监控里预填充阶段被切成了三块。压测脚本没换,2000 条请求,提示词平均 5800 个 token,显卡是单张 4090。 第一反应是并发打太高,把同时处理的请求数从 128 压到 64。首字回到 780 毫秒,吞吐掉三成,等于拿产能换延迟,不划算。又在启动参数里关掉分块预填,首字确实回到 580 毫秒,可只要长提示词进来就把解码卡住,其他请求...

temperature 设 0.0 两次输出仍不一致 seed 到底管不管用

陆零云 27 0
做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。 第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不...

vLLM 0.6.3 启动报 KV cache 不足 显存参数怎么改

陆零云 33 0
周三下午把 Qwen2.5-7B 从 transformers 迁到 vLLM 0.6.3,启动时只写了上下文长度三万二千和显存占比零点八五,24G 的卡上直接抛 ValueError,说没有可用的缓存块,让我调大显存占比或者减小上下文。服务没起来,日志里连端口都没监听。 第一反应是把上下文砍到一万六千,这次起来了,可知识库里有三份两万字的合同,请求过去只处理前六千字,回答开始漏付款条款。又把显存占比提到零点九五,能启动,但并发组只给出一个,八个请求全在排...

显存里的 KV cache 只够 1.2GB 并发到 8 一直 OOM 怎么调

陆零云 37 0
24GB 的 4090 上跑 Qwen2.5-7B,vLLM 0.6 启动时把显存利用率设 0.9,单请求最长上下文给 32768。并发压到 8 就报 ValueError: No available memory for the cache blocks,nvidia-smi 里只剩 1.2GB,一个 32K 请求的 KV 都放不下。 第一反应是并发开太高,把并发请求数从 8 降到 4,能跑,吞吐掉一半,P99 从 1.6 秒涨到 3.4 秒。又把最长上...

vLLM 0.6 并发调到 256 后 P99 从 1.2 秒涨到 4.8 秒 批次怎么定

陆零云 30 0
推理服务从 0.5.4 升到 vLLM 0.6.2,同一批压测数据,P99 从 1.2 秒涨到 4.8 秒,QPS 只多了三成。GPU 利用率一直显示 92%,从面板上看不像闲着。 我先怀疑默认的 max_num_seqs 太小,把它从 256 调到 512,想再挤一点吞吐出来。结果 P99 直接破 6 秒,网关那边 504 告警一片。nvidia-smi 盯了半小时,显存稳在 71G,没有发生换页。 拉 /metrics 才看到 num_preempti...

显存还剩 2.4GB 却报 CUDA OOM 碎片怎么用 expandable_segments 收

陆零云 32 0
一张 4090 跑 Qwen2.5-7B 的 fp16 推理,nvidia-smi 显示已用 21.6GB,还剩 2.4GB。请求进来要申请 1.25GB 的 KV 缓存,直接抛 CUDA out of memory. Tried to allocate 1.25 GiB。把 batch 降到 1 还是报,看着像内存泄漏。 第一反应是查泄漏,torch.cuda.memory_allocated 只有 16.8GB,memory_reserved 却是 2...

vLLM 0.6 的 guided_json 报 500:中文提问为什么解析 schema 失败

陆零云 34 0
给客服系统接了一个 vLLM 0.6.3 的 OpenAI 兼容服务,模型是七 B 的中文微调版。上线第二天,客服反馈中文提问有概率直接弹服务异常,抓到的响应是 500,body 里只有一句 Internal server error。服务端日志对应时刻有一行 guided decoding error,后面跟着 invalid JSON schema。 先按资源问题查。显存没涨,队列也没堆,单独用同样的 prompt 打英文版本,连打二十次全过。把提问换...

vLLM 0.6 并发到 10 就开始排队 | 24G 显存 batch 怎么配

陆零云 49 0
私有化部署 Qwen2.5-7B-Instruct,单张 4090 24G,vLLM 0.6.3 起服务。压测 5 并发平均首字 1.2 秒,到 10 并发请求全部进 waiting 队列,TTFT 涨到 9 秒,nvidia-smi 显存 23.1G,GPU 利用率 100%。 先把 max-model-len 从默认 32768 降到 8192,显存回落到 20.4G,排队一点没缓解,说明瓶颈不是上下文长度,是 KV cache 块不够。gpu_mem...

vLLM 0.6 双卡 tensor parallel 启动报 NCCL timeout 通信超时怎么排查

陆零云 43 0
现象 用两张 4090 起 vLLM 0.6 服务,加上 tensor-parallel-size 2 后进程卡在初始化阶段,大约一分钟后报 NCCL timeout,日志里出现 watchdog caught a collective operation timeout 字样,改成单卡启动则完全正常。 原因 张量并行要求两张卡之间做集合通信,NCCL 会自己选择网卡和传输方式。容器里共享内存太小、两张卡挂在不同的 CPU 根节点上、防火墙挡掉了本地回环之...