llama.cpp -ngl 40 在 4090 上显存不够 有几层该留给 CPU 怎么算

13B 模型转成 Q4_K_M 大约 7.9GB,机器是单卡 4090,24GB 显存,按经验能整模型放上去。实际跑 llama.cpp 带 -ngl 40,加载到一半直接退出,日志最后一行 CUDA error: out of memory,nvidia-smi 里进程只占 780MB 就没了。

先算账:权重 7.9GB,剩下 16GB 去哪了。翻启动日志,KV cache 按 -c 4096 预分配,13B 模型 40 层,fp16 的 KV 大约 6.4GB,加上默认 512 的 batch 计算缓冲和 CUDA context 的固定开销,能吃到接近 16GB,再算上别的进程占的 1.2GB,超了。

第一次把 -ngl 降到 32,能起来,但有两层跑在 CPU 上,生成速度从 40 token/s 掉到 6 token/s,等于白搭。

换方向:加 --flash-attn,KV cache 走分块计算,占用能压下来一截;再把 -c 从 4096 降到 3072,上下文够客服场景用。两条一起上,-ngl 40 恢复到 18.6GB 峰值,nvidia-smi 还剩 2.1GB 余量。

batch 也调了,-b 2048 默认值会预分配一大块计算缓冲,改成 -b 512 -ub 512,峰值再降 900MB。吞吐几乎没变化,请求本来就是单条流式。

还有个容易忽略的点:llama.cpp 默认 mmap 加载,权重映射进虚拟内存,nvidia-smi 看到的显存和实际分配不是一回事,评估余量要按 --no-mmap 的真实值算。

确认:这组参数跑 200 次请求不崩,峰值显存 18.6GB,平均 42 token/s,首 token 延迟 380 毫秒。

M=qwen-13b-q4_k.gguf
llama-server -m $M --flash-attn -c 3072 -ngl 40 -b 512

您可以还会对下面的文章感兴趣: