现象:70B 模型换成 7B,显存还剩 90% 不释放
本地跑 Ollama,先拉了 70B 模型占了 40GB 显存,跑完换 7B 小模型,nvidia-smi 一看显存还被那个大模型的 CUDA context 占着,只腾出了 3GB。重启 ollama 服务也没用,内存泄漏一样一直堆,最后只能 kill -9 所有 ollama 进程。
原因:Ollama 默认让模型留在内存里
Ollama 有个 keep_alive 参数,默认 5 分钟,模型跑完不会立刻释放 CUDA context,方便下一次调用更快。但 70B 这种大模型占 40GB,keep_alive 期间换小模型就会出现"显存不够"的错觉。可以通过 API 设置 keep_alive,让模型一跑完就释放:
# 调用时传 keep_alive 参数,设为 -1 永久驻留,设为 0 跑完立刻释放
curl http://localhost:11434/api/generate -d '{
"model": "llama3:8b",
"prompt": "你好",
"keep_alive": 0
}'
如果已经堆了,怎么不重启就清
Ollama 0.1.30 之后加了 POST /api/stop 接口,正在跑的模型可以停掉。但已经在 keep_alive 里的模型,调 stop 也没用。最稳的办法是直接发一个 keep_alive: 0 的调用,让它触发释放逻辑。或者设个环境变量 OLLAMA_KEEP_ALIVE=30s,在启动 Ollama 服务时就指定默认只保留 30 秒。
# Linux/Mac 启动时指定 keep_alive
OLLAMA_KEEP_ALIVE=30s ollama serve &
# Windows PowerShell
$env:OLLAMA_KEEP_ALIVE = "30s"; ollama serve
用 nvidia-smi 确认显存释放了
释放完再跑 nvidia-smi,看 Memory Usage 是不是回到合理值。如果还是没变,用 lsof 看哪些进程占着显存:
# 查看占用 GPU 显存的进程和 PID
nvidia-smi pmon -c 1
# 或直接看 CUDA context
fuser -v /dev/nvidia*
总结:Ollama 切换模型显存不释放,八成是 keep_alive 没调。调用时传 keep_alive: 0 让模型跑完立刻释放,或启动时设 OLLAMA_KEEP_ALIVE 控制默认时长。实在不行用 fuser 找 PID,kill 掉 ollama 相关进程就能彻底清干净。
