现象
单请求跑 7B 模型时 nvidia-smi 显示占用 5GB 左右,服务端为了提升吞吐把 OLLAMA_NUM_PARALLEL 设成 4,结果并发一上来显存直接涨到 12GB,8GB 的卡立刻 OOM,接口返回 500,日志里是 CUDA out of memory。
原因
Ollama 的并行是按槽位预分配的,每个槽位都要独立一份 KV cache 和计算缓冲区,显存约等于模型权重加上槽位数乘以单槽 KV。OLLAMA_MAX_LOADED_MODELS 默认允许多个模型同时驻留,切换模型时旧模型不会立刻释放,两个因素叠加就把显存顶满。
解决步骤
第一步,先算清单槽 KV 占多少。按层数、KV 头数、头维度和上下文长度估算,确认显存预算够开几个槽,不要凭感觉调。
n_layer, n_kv, hd, ctx = 32, 8, 128, 4096
per = 2 * n_layer * n_kv * hd * ctx * 2 / 1024 ** 3
print(round(per, 2), "GiB per slot")
第二步,把并行和驻留模型都收到 1。用 systemd 的 drop-in 覆盖服务环境变量,同时把 num_ctx 从 8192 降到 4096,长上下文是显存大头,先砍它比砍并行更划算。
第三步,用排队代替并行。对外接口加一层请求队列或限流,让 Ollama 串行处理,配合 keep_alive 控制模型驻留时间,吞吐下降但不会 OOM,稳定性优先。
验证
ollama ps 里只看到一个模型且 SIZE 与预算相符,压测 10 个并发时 nvidia-smi 显存曲线平稳不继续上涨,接口全部返回 200,日志中没有 out of memory。
小结
并行槽位是拿显存换吞吐,卡小的时候并不划算。算清单槽 KV、限制并行与上下文、用队列削峰,比盲目调大参数更可靠。
