llama.cpp -ngl 40 在 4090 上显存不够 有几层该留给 CPU 怎么算

陆零云 37 0
13B 模型转成 Q4_K_M 大约 7.9GB,机器是单卡 4090,24GB 显存,按经验能整模型放上去。实际跑 llama.cpp 带 -ngl 40,加载到一半直接退出,日志最后一行 CUDA error: out of memory,nvidia-smi 里进程只占 780MB 就没了。 先算账:权重 7.9GB,剩下 16GB 去哪了。翻启动日志,KV cache 按 -c 4096 预分配,13B 模型 40 层,fp16 的 KV 大约 6...

llama.cpp 加载 GGUF 3.0 提示未知架构 unknown model architecture 怎么处理

陆零云 42 0
现象 从模型仓库下了一个 GGUF 3.0 权重,执行 ./llama-cli -m model.gguf -p "你好" 后进程直接退出,日志最后一行是 unknown model architecture: 'qwen3'。换 llama.cpp 自带的示例模型又能推理,说明程序本身没坏。 原因 GGUF 文件头里的 general.architecture 记录了模型结构名,llama.cpp 只有在源码里注册过对应架构才能构建计算图。本地这份是几个...

llama.cpp 量化前 convert_hf_to_gguf.py 报 KeyError 缺字段错误怎么修

陆零云 33 0
现象 在 llama.cpp 里执行 convert_hf_to_gguf.py 把 Qwen2.5 的权重转成 GGUF,脚本读了几秒就抛 KeyError: 'qwen2',同一份权重用别的工具能正常加载,说明文件本身没坏,问题出在脚本这一侧。 原因 转换脚本靠 config.json 里的 architectures 字段匹配模型类,老版本脚本里没有新架构的映射就直接 KeyError。另一种情况是 config 缺字段,比如 tie_word_em...

Q4_K_M 量化后中文乱码 perplexity 涨到 12.5 怎么排查

陆零云 35 0
现象 7B 中文模型用 llama-quantize 转成 Q4_K_M 后,英文回答基本正常,中文却夹着乱码和拼音碎片,同一批测试题的 perplexity 从 6.8 涨到 12.5,长句还会突然中断。 原因 量化本身会损失精度,但乱码通常来自校准环节。默认 imatrix 用英文语料生成,中文 token 的激活分布没有被覆盖,低比特下误差被放大。Q4_K_M 对 embedding 和 output 层也比较敏感,如果这两层一起压到 4bit,词表...

llama.cpp 升级 CMake 3.28 后编译报 undefined reference 错误怎么排查

陆零云 31 0
现象 Ubuntu 22.04 上编译 llama.cpp,执行 cmake --build build -j8 到链接阶段失败,报 undefined reference to cblas_sgemm,前面所有源文件都编译通过了。重装 gcc、清理 build 目录再试,仍然是同一个符号找不到。 原因 这是链接期错误,说明编译时开启了 BLAS 支持,但链接器没有找到对应的库。常见原因是只装了 OpenBLAS 的运行包,缺 libopenblas-de...