陆零云
27
0
一张 4090 上跑 Qwen2.5-7B 的 AWQ 四比特模型,从开发机搬到生产机,启动直接抛 ValueError: Unknown quantization method: awq,后面跟着一列支持的方法。同一个模型目录在开发机能起,生产机不行,第一反应是权重文件没拷全。
对着 md5 校验了一遍,七个分片都在。又确认 config.json 里 quantization_config 写的是 awq,字段没丢。两边的 vLLM 都是 0.6.4,...
陆零云
35
0
上周把推理服务从 0.5.4 升到 vLLM 0.6.4,首字延迟的 P95 从 620 毫秒变成 1.05 秒,监控里预填充阶段被切成了三块。压测脚本没换,2000 条请求,提示词平均 5800 个 token,显卡是单张 4090。
第一反应是并发打太高,把同时处理的请求数从 128 压到 64。首字回到 780 毫秒,吞吐掉三成,等于拿产能换延迟,不划算。又在启动参数里关掉分块预填,首字确实回到 580 毫秒,可只要长提示词进来就把解码卡住,其他请求...
陆零云
27
0
做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。
第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不...
陆零云
33
0
周三下午把 Qwen2.5-7B 从 transformers 迁到 vLLM 0.6.3,启动时只写了上下文长度三万二千和显存占比零点八五,24G 的卡上直接抛 ValueError,说没有可用的缓存块,让我调大显存占比或者减小上下文。服务没起来,日志里连端口都没监听。
第一反应是把上下文砍到一万六千,这次起来了,可知识库里有三份两万字的合同,请求过去只处理前六千字,回答开始漏付款条款。又把显存占比提到零点九五,能启动,但并发组只给出一个,八个请求全在排...
陆零云
37
0
24GB 的 4090 上跑 Qwen2.5-7B,vLLM 0.6 启动时把显存利用率设 0.9,单请求最长上下文给 32768。并发压到 8 就报 ValueError: No available memory for the cache blocks,nvidia-smi 里只剩 1.2GB,一个 32K 请求的 KV 都放不下。
第一反应是并发开太高,把并发请求数从 8 降到 4,能跑,吞吐掉一半,P99 从 1.6 秒涨到 3.4 秒。又把最长上...
陆零云
30
0
推理服务从 0.5.4 升到 vLLM 0.6.2,同一批压测数据,P99 从 1.2 秒涨到 4.8 秒,QPS 只多了三成。GPU 利用率一直显示 92%,从面板上看不像闲着。
我先怀疑默认的 max_num_seqs 太小,把它从 256 调到 512,想再挤一点吞吐出来。结果 P99 直接破 6 秒,网关那边 504 告警一片。nvidia-smi 盯了半小时,显存稳在 71G,没有发生换页。
拉 /metrics 才看到 num_preempti...
陆零云
32
0
一张 4090 跑 Qwen2.5-7B 的 fp16 推理,nvidia-smi 显示已用 21.6GB,还剩 2.4GB。请求进来要申请 1.25GB 的 KV 缓存,直接抛 CUDA out of memory. Tried to allocate 1.25 GiB。把 batch 降到 1 还是报,看着像内存泄漏。
第一反应是查泄漏,torch.cuda.memory_allocated 只有 16.8GB,memory_reserved 却是 2...
陆零云
34
0
给客服系统接了一个 vLLM 0.6.3 的 OpenAI 兼容服务,模型是七 B 的中文微调版。上线第二天,客服反馈中文提问有概率直接弹服务异常,抓到的响应是 500,body 里只有一句 Internal server error。服务端日志对应时刻有一行 guided decoding error,后面跟着 invalid JSON schema。
先按资源问题查。显存没涨,队列也没堆,单独用同样的 prompt 打英文版本,连打二十次全过。把提问换...
陆零云
49
0
私有化部署 Qwen2.5-7B-Instruct,单张 4090 24G,vLLM 0.6.3 起服务。压测 5 并发平均首字 1.2 秒,到 10 并发请求全部进 waiting 队列,TTFT 涨到 9 秒,nvidia-smi 显存 23.1G,GPU 利用率 100%。
先把 max-model-len 从默认 32768 降到 8192,显存回落到 20.4G,排队一点没缓解,说明瓶颈不是上下文长度,是 KV cache 块不够。gpu_mem...
陆零云
43
0
现象
用两张 4090 起 vLLM 0.6 服务,加上 tensor-parallel-size 2 后进程卡在初始化阶段,大约一分钟后报 NCCL timeout,日志里出现 watchdog caught a collective operation timeout 字样,改成单卡启动则完全正常。
原因
张量并行要求两张卡之间做集合通信,NCCL 会自己选择网卡和传输方式。容器里共享内存太小、两张卡挂在不同的 CPU 根节点上、防火墙挡掉了本地回环之...