拿 Qwen2.5-7B 做八位浮点量化,用压缩工具的动态方案,跑完在 4090 上显存从 15.4G 降到 9.6G,吞吐从 720 token/s 提到 1180。看着很香,结果 LongBench 中文子集从 52.8 掉到 49.6,整整少了 3.2 分,摘要任务开始把「不超过三句」写成四句。
第一反应是校准数据不对,翻了脚本才发现动态方案不需要校准,激活值是运行时按 token 统计的。又怀疑按张量量化粒度太粗,换成按通道,分数只回来 0.3。把温度调到 0 重跑,分数还是 49.9,说明不是采样波动。把同一批题在三张卡上各跑一遍,分数浮动不超过零点二分,硬件差异也排除了。
逐层对比输出,问题集中在最后六层和输出头,量化后最高概率词和半精度有 6.8% 对不上。把输出头、第一层、最后两层留在半精度,其余线性层走八位,权重文件从 7.4G 涨到 8.1G,仍比原始小一半。这个混合方案在推理框架里要靠压缩张量格式的忽略列表,不能直接命令行开。
from llmcompressor.transformers import oneshot
from llmcompressor.modifiers.quantization import (
QuantizationModifier)
recipe = QuantizationModifier(
targets="Linear", scheme="FP8_DYNAMIC",
ignore=["lm_head", "model.layers.0",
"model.layers.27"])
oneshot(model=model, recipe=recipe)
save_compressed(model, tokenizer, "qwen-fp8")
重新评测,LongBench 回到 51.9,只掉 0.9 分,MATH 从 61.2 到 60.4,业务抽检三百条没有明显退化。吞吐 1090 token/s,比纯八位低 8%,比原始半精度仍高 51%。首 token 延迟没变,说明收益主要在解码阶段。长文里的小数点位置和单位换算也逐条核过,没有再出现错位。
也试过四比特的 AWQ 做对照,显存能压到 6.2G,但 LongBench 只有 49.1,且金额字段偶尔错位,财务类问题不敢用。八位的好处是不用校准集,换模型当天就能跑,坏处是老卡不支持,A10 以下只能干看。
现在每次量化完固定跑三组数,LongBench、业务三百条、还有五十条带数字的长文。前两组看整体,第三组专门盯小数点和百分比。除了总分,我还会把同一批输入的首句逐条对比,只要长文数字错一个,这批权重就不进镜像,回退成本比线上解释低得多。
