llama.cpp 加载 GGUF 3.0 提示未知架构 unknown model architecture 怎么处理

陆零云 42 0
现象 从模型仓库下了一个 GGUF 3.0 权重,执行 ./llama-cli -m model.gguf -p "你好" 后进程直接退出,日志最后一行是 unknown model architecture: 'qwen3'。换 llama.cpp 自带的示例模型又能推理,说明程序本身没坏。 原因 GGUF 文件头里的 general.architecture 记录了模型结构名,llama.cpp 只有在源码里注册过对应架构才能构建计算图。本地这份是几个...

llama.cpp 量化前 convert_hf_to_gguf.py 报 KeyError 缺字段错误怎么修

陆零云 33 0
现象 在 llama.cpp 里执行 convert_hf_to_gguf.py 把 Qwen2.5 的权重转成 GGUF,脚本读了几秒就抛 KeyError: 'qwen2',同一份权重用别的工具能正常加载,说明文件本身没坏,问题出在脚本这一侧。 原因 转换脚本靠 config.json 里的 architectures 字段匹配模型类,老版本脚本里没有新架构的映射就直接 KeyError。另一种情况是 config 缺字段,比如 tie_word_em...

Q4_K_M 量化后中文乱码 perplexity 涨到 12.5 怎么排查

陆零云 35 0
现象 7B 中文模型用 llama-quantize 转成 Q4_K_M 后,英文回答基本正常,中文却夹着乱码和拼音碎片,同一批测试题的 perplexity 从 6.8 涨到 12.5,长句还会突然中断。 原因 量化本身会损失精度,但乱码通常来自校准环节。默认 imatrix 用英文语料生成,中文 token 的激活分布没有被覆盖,低比特下误差被放大。Q4_K_M 对 embedding 和 output 层也比较敏感,如果这两层一起压到 4bit,词表...