Q4_K_M 量化后中文乱码 perplexity 涨到 12.5 怎么排查

陆零云 35 0
现象 7B 中文模型用 llama-quantize 转成 Q4_K_M 后,英文回答基本正常,中文却夹着乱码和拼音碎片,同一批测试题的 perplexity 从 6.8 涨到 12.5,长句还会突然中断。 原因 量化本身会损失精度,但乱码通常来自校准环节。默认 imatrix 用英文语料生成,中文 token 的激活分布没有被覆盖,低比特下误差被放大。Q4_K_M 对 embedding 和 output 层也比较敏感,如果这两层一起压到 4bit,词表...