一张 4090 上跑 Qwen2.5-7B 的 AWQ 四比特模型,从开发机搬到生产机,启动直接抛 ValueError: Unknown quantization method: awq,后面跟着一列支持的方法。同一个模型目录在开发机能起,生产机不行,第一反应是权重文件没拷全。
对着 md5 校验了一遍,七个分片都在。又确认 config.json 里 quantization_config 写的是 awq,字段没丢。两边的 vLLM 都是 0.6.4,torch 却差了一个小版本,开发机是 2.4,生产机是 2.1。
先把 torch 升到 2.4,报错没了,换成另一个,说 awq 的内核在当前显卡上不可用。查下来 0.6.4 默认走 awq_marlin,需要算力 8.0 以上,这台卡够,问题在驱动太旧,CUDA 运行时是 11.8。
args = [
"vllm", "serve", "/models/qwen2.5-7b-awq",
"--quantization", "awq_marlin",
"--dtype", "half",
"--max-model-len", "8192",
"--gpu-memory-utilization", "0.88",
]
驱动升到 550 之后 marlin 能跑。想临时绕过也可以显式指定 --quantization awq,走老内核,吞吐低一成半,显存多占 400MB,只适合应急。别指望不写参数让框架自己猜,它猜不到你装了什么。
启动成功后我又量了一遍,首字延迟 410 毫秒,单字 38 毫秒,和开发机基本一致,说明之前不是模型问题。装载耗时 46 秒,比开发机多 8 秒,原因是生产机的模型放在网络盘上。
这类报错看着像模型坏了,其实是运行时缺件。排查顺序固定成三步,权重完整性、框架与 torch 版本、驱动与 CUDA 运行时,三步对完再动模型目录。镜像依赖锁成带版本号的清单,能省掉大半迁移问题。
