Ollama 跑 7B 模型显存不足报 out of memory,num_gpu 调几层才不 OOM

先分清是显存不够还是内存不够

Ollama 加载模型失败时,日志里常见两种报错:一种来自 CUDA,提示 out of memory;另一种来自系统内核,只留下一个 killed。前者是显存装不下模型,后者是主机内存被吃光,处理方向完全不同。先看 ollama serve 的前台输出,同时用 nvidia-smi 观察加载瞬间的显存峰值。

ollama serve
nvidia-smi --query-gpu=memory.total,memory.used --format=csv -l 1
ollama run qwen2.5:7b

7B 模型按 fp16 加载大约要 14GB 显存,q4_K_M 量化版本只要 4.5GB 左右。手上只有 8GB 显卡却去拉 fp16 权重,加载阶段必然失败,换成量化版本是最省事的做法。

第二步:用 num_gpu 把部分层留在 CPU

显存差一点点又不想换卡,可以把一部分层卸载到 CPU,其余放显存。num_gpu 控制放在 GPU 上的层数,设成 0 表示全部走 CPU,速度慢但能跑起来,设为层数上限则表示全放显存。

FROM qwen2.5:7b
PARAMETER num_gpu 20
PARAMETER num_ctx 2048

层数从总层数往下试,每次减 4,直到 ollama ps 里显存占用稳定、不再触发报错。7B 模型一般是 28 到 32 层,能放下 20 层时,生成速度大约是纯 CPU 的三倍。

第三步:上下文长度同样是显存大户

很多人只算模型权重,忽略了 KV cache。num_ctx 从 8192 降到 2048,长文档场景能省出一GB以上显存,而默认值往往偏大,本地机器上建议显式写小。

ollama run qwen2.5:7b --verbose
curl http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"hi","options":{"num_ctx":2048}}'

走 API 调用时要把 num_ctx 一起塞进 options,否则服务端仍按模型默认值分配显存,前面改的 Modelfile 等于白调。

第四步:并发和驻留模型数的隐性开销

OLLAMA_NUM_PARALLEL 默认按显存自动估算,几个请求同时进来会瞬间放大占用;OLLAMA_MAX_LOADED_MODELS 不限制时,切换模型会让两份权重同时驻留。单卡机器把这两个值都压到 1,基本可以避开运行中突然 OOM。

export OLLAMA_NUM_PARALLEL=1
export OLLAMA_MAX_LOADED_MODELS=1
systemctl restart ollama

小结

顺序是:先用 nvidia-smi 量峰值判断卡在哪一层,再换量化版本降低成本,不够就用 num_gpu 分层卸载到 CPU,同时压小 num_ctx,最后限制并发与同时加载的模型数量。四步做完,8GB 显卡跑 7B 模型可以稳定输出,不会再在加载阶段直接退出。

您可以还会对下面的文章感兴趣: