FP8 量化长文精度掉 3.2 分 哪几层怎么退回 bf16

陆零云 28 0
拿 Qwen2.5-7B 做八位浮点量化,用压缩工具的动态方案,跑完在 4090 上显存从 15.4G 降到 9.6G,吞吐从 720 token/s 提到 1180。看着很香,结果 LongBench 中文子集从 52.8 掉到 49.6,整整少了 3.2 分,摘要任务开始把「不超过三句」写成四句。 第一反应是校准数据不对,翻了脚本才发现动态方案不需要校准,激活值是运行时按 token 统计的。又怀疑按张量量化粒度太粗,换成按通道,分数只回来 0.3。把...