Q4_K_M 量化后中文乱码 perplexity 涨到 12.5 怎么排查

现象

7B 中文模型用 llama-quantize 转成 Q4_K_M 后,英文回答基本正常,中文却夹着乱码和拼音碎片,同一批测试题的 perplexity 从 6.8 涨到 12.5,长句还会突然中断。

原因

量化本身会损失精度,但乱码通常来自校准环节。默认 imatrix 用英文语料生成,中文 token 的激活分布没有被覆盖,低比特下误差被放大。Q4_K_M 对 embedding 和 output 层也比较敏感,如果这两层一起压到 4bit,词表映射容易出错。转换时 tokenizer 与模型不匹配,同样会输出异常字符。

解决步骤

第一步,用中文语料重做校准。准备两百段覆盖业务术语的中文文本,生成中文 imatrix,再基于它量化,而不是直接用默认校准集。

llama-imatrix -m model-f16.gguf \
  -f zh_calib.txt -o zh.imatrix
llama-quantize --imatrix zh.imatrix \
  model-f16.gguf model-q4km.gguf Q4_K_M

第二步,提高关键层精度。改用 Q5_K_M,或者量化时用 --output-tensor-type q6_k 单独抬高输出层。文件会大一点,但中文稳定性明显好于全 4bit。

第三步,核对 tokenizer 和模板。确认转换前后用的是同一份 tokenizer,聊天模板里的特殊符号没有被改写;用 llama-CLI 直接加载新文件,排除上层框架的干扰。

验证

用同一批中文题重算 perplexity,应回落到 8 以内;再抽十条长句检查是否有乱码、截断和重复,人工可读性正常才算通过。

小结

量化后的中文乱码多与校准语料和关键层精度有关。先换中文 imatrix,再抬 output 层,最后核对 tokenizer,比盲目换量化等级有效。

您可以还会对下面的文章感兴趣: