vLLM 0.6.4 换机器加载 AWQ 报未知量化 后端怎么补齐 陆零云 2026-11-17 11:44:40 27 0 一张 4090 上跑 Qwen2.5-7B 的 AWQ 四比特模型,从开发机搬到生产机,启动直接抛 ValueError: Unknown quantization method: awq,后面跟着一列支持的方法。同一个模型目录在开发机能起,生产机不行,第一反应是权重文件没拷全。 对着 md5 校验了一遍,七个分片都在。又确认 config.json 里 quantization_config 写的是 awq,字段没丢。两边的 vLLM 都是 0.6.4,...