陆零云
37
0
13B 模型转成 Q4_K_M 大约 7.9GB,机器是单卡 4090,24GB 显存,按经验能整模型放上去。实际跑 llama.cpp 带 -ngl 40,加载到一半直接退出,日志最后一行 CUDA error: out of memory,nvidia-smi 里进程只占 780MB 就没了。
先算账:权重 7.9GB,剩下 16GB 去哪了。翻启动日志,KV cache 按 -c 4096 预分配,13B 模型 40 层,fp16 的 KV 大约 6...
陆零云
42
0
现象
从模型仓库下了一个 GGUF 3.0 权重,执行 ./llama-cli -m model.gguf -p "你好" 后进程直接退出,日志最后一行是 unknown model architecture: 'qwen3'。换 llama.cpp 自带的示例模型又能推理,说明程序本身没坏。
原因
GGUF 文件头里的 general.architecture 记录了模型结构名,llama.cpp 只有在源码里注册过对应架构才能构建计算图。本地这份是几个...
陆零云
33
0
现象
在 llama.cpp 里执行 convert_hf_to_gguf.py 把 Qwen2.5 的权重转成 GGUF,脚本读了几秒就抛 KeyError: 'qwen2',同一份权重用别的工具能正常加载,说明文件本身没坏,问题出在脚本这一侧。
原因
转换脚本靠 config.json 里的 architectures 字段匹配模型类,老版本脚本里没有新架构的映射就直接 KeyError。另一种情况是 config 缺字段,比如 tie_word_em...
陆零云
35
0
现象
7B 中文模型用 llama-quantize 转成 Q4_K_M 后,英文回答基本正常,中文却夹着乱码和拼音碎片,同一批测试题的 perplexity 从 6.8 涨到 12.5,长句还会突然中断。
原因
量化本身会损失精度,但乱码通常来自校准环节。默认 imatrix 用英文语料生成,中文 token 的激活分布没有被覆盖,低比特下误差被放大。Q4_K_M 对 embedding 和 output 层也比较敏感,如果这两层一起压到 4bit,词表...
陆零云
31
0
现象
Ubuntu 22.04 上编译 llama.cpp,执行 cmake --build build -j8 到链接阶段失败,报 undefined reference to cblas_sgemm,前面所有源文件都编译通过了。重装 gcc、清理 build 目录再试,仍然是同一个符号找不到。
原因
这是链接期错误,说明编译时开启了 BLAS 支持,但链接器没有找到对应的库。常见原因是只装了 OpenBLAS 的运行包,缺 libopenblas-de...