财务问答切到 AWQ 4bit 的 Qwen2.5-7B,2000 条测试里 62 条金额错位。原文写「应退 1234.56 元」,模型答「应退 12345.6 元」,小数点整体右移一位。同一批题用 fp16 跑只错 3 条,差距很直接。
第一反应是量化弄坏了数字 token,把 group_size 从 128 降到 64,重跑错 58 条,几乎没动。又试了只量化 down_proj,其余层留 fp16,显存涨到 9GB,错 41 条,还是不能上线。
翻错例发现规律,出错的都是四位以上整数带两位小数的金额,模型先把数字当一句话复述,再算差额。量化后的 lm_head 对数字 token 的 logits 分布变平,1234 和 12345 只差 0.3 分。把 lm_head 单独留 fp16,错例降到 29 条。
真正管用的是不让模型自己算。提示词要求金额原样抄进 JSON,计算交给下游。抽取后加一道正则校验,答案里的数字必须能在原文找到同样的串,找不到就打回重问,重问上限两次,两次失败转人工。
import re
AMT = re.compile(r"\d{1,3}(?:,\d{3})*(?:\.\d{1,2})?")
def check(ans, src):
for m in AMT.findall(ans):
a = m.replace(",", "")
if a not in src.replace(",", ""):
return False
return True
这套跑完,2000 条错 4 条,剩下的是原文里本来就有多个金额。量化配置上,4bit 权重加 fp16 的 lm_head 和 embedding,显存 5.6GB,比 fp16 省 9GB,首 token 延迟从 210 毫秒降到 130 毫秒。
线上还加了一条兜底,凡是回答里出现金额,前端把原文对应段落一起展示,用户能对照。这个改动上线后,金额类投诉从每周 9 条降到 1 条。量化模型不是不能用,是不能让它碰精确计算,把这类活拆出去,4bit 的收益才拿得稳。另外把 temperature 设成 0,同一问题两次回答的数字一致率从 91% 到 99%,排查也方便。
评测时我把 62 条错例逐条看了原文,有 11 条原文本身写了两个金额,模型选了错的那个,这类归到抽取逻辑,不算量化问题。
perplexity 只涨 0.03,看着没事,可数字敏感的任务不能只看这个数。评测集里单独放 200 条带小数的金额题,比整体困惑度更能暴露问题,这一点在选型时最容易被忽略。
