13B 的 GPTQ 四比特模型做客服工单的金额抽取,一条十五位以内的数字,十次有两次差一分钱。人工交叉核对 400 条,错的 83 条集中在应付和实付两个字段,别的字段都正常。
第一反应是模型不够大,换 32B 的量化版本重跑,错 51 条,可显存从 7.2GB 涨到 14GB,一张 4090 只剩 6GB 留给缓存,并发从 16 掉到 6,单条成本翻倍。这个方向性价比不对。
回头看量化脚本,分组大小写的是 128,组内激活排序默认关闭。分组越粗,同一组权重共用一个缩放因子,小数位的微小差异被一起抹平。改成 32 并把组内排序打开,显存涨到 9.0GB,错 11 条。再试 64,错 29 条,显存 8.1GB。三档都跑一遍,才看清这是精度和显存的直线关系,不是模型容量的问题。
from auto_gptq import BaseQuantizeConfig
cfg = BaseQuantizeConfig(
bits=4,
group_size=32,
desc_act=True,
damp_percent=0.01,
)
# 组越小 组内共享的 scale 越细 显存越高
# desc_act 打开后量化慢 40% 小数位更稳
打开组内排序后,量化时间从 22 分钟涨到 31 分钟,推理慢约 6%,这个代价能接受。输出层和词嵌入保持半精度没量化,这两层对数字 token 的分布影响比想象中大,一起压到四比特,错数会回到 40 条以上。
量化完我又用同一批工单跑了三次,取最差的一次,避免偶然。错的那十一条也逐条看过,八条是表格里两个金额挨着,模型把应付和实付串了,不是量化误差,是提示词没把列的语义说清。剩下三条才是小数位压平之后的抖动,这个量级能忍。
验证方法固定下来了,每次换量化配置都跑那 400 条带金额的工单,逐条比对数字字符串,不用那些模糊的文本相似度指标。分组 32 加组内排序这套组合跑了三周,线上金额类投诉 0 条。
还有一台 3090 显存只有 24GB 但还要塞重排模型,那边选了分组 64,牺牲 18 条准确率换 900MB 显存。同一个模型不同部署形态给不同配置,别指望一套量化参数吃遍所有机器。
