AWQ 4bit 量化后金额报错 小数点错一位哪几层要留 fp16 陆零云 2026-11-11 12:08:43 21 0 财务问答切到 AWQ 4bit 的 Qwen2.5-7B,2000 条测试里 62 条金额错位。原文写「应退 1234.56 元」,模型答「应退 12345.6 元」,小数点整体右移一位。同一批题用 fp16 跑只错 3 条,差距很直接。 第一反应是量化弄坏了数字 token,把 group_size 从 128 降到 64,重跑错 58 条,几乎没动。又试了只量化 down_proj,其余层留 fp16,显存涨到 9GB,错 41 条,还是不能上线。 翻...