Ollama keep_alive | 模型 5 分钟后卸载首字延迟怎么保住

内网知识问答用的 Ollama,空转 25 分钟后再问一句,首字要等 9.2 秒。ollama ps 里已经看不到模型,日志有一条 model unloaded,默认 keep_alive 是 5 分钟,到点就把权重从显存里卸了。

第一反应是模型太大,换了个 3B 的,首字还是 8 秒多,只是加载快了一点点。又试在启动命令后面加 --keep-alive 24h,Ollama 0.3 不认这个参数,进程起来后 keep_alive 还是 5m。

正确的位置在请求体里,Curl 传 keep_alive 为 30m 就生效,ollama ps 里能看到过期时间。但常驻一天把 6.4GB 显存全占住,同一张卡上另一个 7B 服务起不来,只能折中到 30 分钟。

再加两条:OLLAMA_MAX_LOADED_MODELS 设 1,避免两个模型来回换把显存打满;低峰期用 ollama stop 主动释放,早高峰前由定时任务预热一次,把首字压回 1 秒内。

确认:空转 25 分钟后再请求,ollama ps 里模型还在,日志没有 unloaded,首字 0.9 到 1.1 秒;执行 stop 之后 nvidia-smi 显存从 6.4GB 回落到 300MB,再请求会重新加载,这条路径也测过。压测时并发 4 路同时打进来,排队时间 1.4 秒,没有出现两个模型互相挤显存的 OOM。

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好",
  "keep_alive": "30m"
}'
ollama ps
ollama stop qwen2.5:7b

您可以还会对下面的文章感兴趣: