Ollama 跑 7B 显存不够一直 OOM:q4_K_M 到底该不该换

一台 8G 显存的 3070 上跑 Ollama 0.3.12,拉的是 qwen2.5:7b,默认标签给的是 q8_0。模型能加载,聊到第三轮就断,doCker logs 里是 llama runner process has terminated: CUDA error: out of memory,nvidia-smi 看峰值已经贴到 7900MiB。

算一下账:7B 的 q8_0 权重约 8.1GB,本身就超过 8G 卡,Ollama 还要按 num_ctx 分配 KV cache,8192 上下文再加 1G 多。靠调 num_gpu 卸载层数只是把一部分挪到 CPU,速度掉到 3 token/s,不如换量化版本。

换成 q4_K_M 后权重 4.7GB,4096 上下文下整卡占用 6.3GB,实测 28 token/s,中文回答没有肉眼可见的退化。中间试过 q5_K_M,5.4GB,占用 7.1GB,能跑,但开到 6144 上下文又 OOM,8G 卡没有余量。

还有一个容易被忽略的开关是 OLLAMA_NUM_PARALLEL。默认并发是 4,等于把 KV cache 按四份算,7B 上直接多出 2G。我这边设成 1 才稳定下来,代价是两个请求要排队,慢一点但不断。

docker run -d --gpus all -p 11434:11434 \
  -e OLLAMA_NUM_PARALLEL=1 \
  -e OLLAMA_MAX_LOADED_MODELS=1 \
  -v ollama:/root/.ollama --name ollama ollama/ollama

ollama run qwen2.5:7b-instruct-q4_K_M

别用 ollama run 的默认参数直接压测。模型刚加载完缓存还没热,立刻发几十条并发,八成都 OOM,很容易误判成模型太大带不动。

验证办法很简单:ollama ps 看 SIZE 那一列,必须明显小于显存,留 1G 以上余量。q4_K_M 是 8G 卡上 7B 的默认答案,除非做代码补全这种对精度敏感的活,那就换 12G 以上的卡再谈 q5。

您可以还会对下面的文章感兴趣: