GPTQ 4bit 量化 group_size 从 128 降到 32 显存涨 1.8GB 精度怎么权衡

陆零云 27 0
13B 的 GPTQ 四比特模型做客服工单的金额抽取,一条十五位以内的数字,十次有两次差一分钱。人工交叉核对 400 条,错的 83 条集中在应付和实付两个字段,别的字段都正常。 第一反应是模型不够大,换 32B 的量化版本重跑,错 51 条,可显存从 7.2GB 涨到 14GB,一张 4090 只剩 6GB 留给缓存,并发从 16 掉到 6,单条成本翻倍。这个方向性价比不对。 回头看量化脚本,分组大小写的是 128,组内激活排序默认关闭。分组越粗,同一组...