陆零云
27
0
一张 4090 上跑 Qwen2.5-7B 的 AWQ 四比特模型,从开发机搬到生产机,启动直接抛 ValueError: Unknown quantization method: awq,后面跟着一列支持的方法。同一个模型目录在开发机能起,生产机不行,第一反应是权重文件没拷全。
对着 md5 校验了一遍,七个分片都在。又确认 config.json 里 quantization_config 写的是 awq,字段没丢。两边的 vLLM 都是 0.6.4,...
陆零云
21
0
财务问答切到 AWQ 4bit 的 Qwen2.5-7B,2000 条测试里 62 条金额错位。原文写「应退 1234.56 元」,模型答「应退 12345.6 元」,小数点整体右移一位。同一批题用 fp16 跑只错 3 条,差距很直接。
第一反应是量化弄坏了数字 token,把 group_size 从 128 降到 64,重跑错 58 条,几乎没动。又试了只量化 down_proj,其余层留 fp16,显存涨到 9GB,错 41 条,还是不能上线。
翻...