陆零云
27
0
13B 的 GPTQ 四比特模型做客服工单的金额抽取,一条十五位以内的数字,十次有两次差一分钱。人工交叉核对 400 条,错的 83 条集中在应付和实付两个字段,别的字段都正常。
第一反应是模型不够大,换 32B 的量化版本重跑,错 51 条,可显存从 7.2GB 涨到 14GB,一张 4090 只剩 6GB 留给缓存,并发从 16 掉到 6,单条成本翻倍。这个方向性价比不对。
回头看量化脚本,分组大小写的是 128,组内激活排序默认关闭。分组越粗,同一组...
陆零云
21
0
财务问答切到 AWQ 4bit 的 Qwen2.5-7B,2000 条测试里 62 条金额错位。原文写「应退 1234.56 元」,模型答「应退 12345.6 元」,小数点整体右移一位。同一批题用 fp16 跑只错 3 条,差距很直接。
第一反应是量化弄坏了数字 token,把 group_size 从 128 降到 64,重跑错 58 条,几乎没动。又试了只量化 down_proj,其余层留 fp16,显存涨到 9GB,错 41 条,还是不能上线。
翻...