Ollama 跑 7B 模型显存不足报 out of memory,num_gpu 调几层才不 OOM

陆零云 68 0
先分清是显存不够还是内存不够 Ollama 加载模型失败时,日志里常见两种报错:一种来自 CUDA,提示 out of memory;另一种来自系统内核,只留下一个 killed。前者是显存装不下模型,后者是主机内存被吃光,处理方向完全不同。先看 ollama serve 的前台输出,同时用 nvidia-smi 观察加载瞬间的显存峰值。 ollama serve nvidia-smi --query-gpu=memory.total,memory.use...

Ollama 本地接口返回 404 page not found 怎么解决

陆零云 44 0
现象:模型明明跑起来了,接口却回 404 在本机部署 Ollama 后,用 curl 请求 http://localhost:11434/v1/chat/completions,返回 404 page not found。直接把 Ollama 地址填进 OpenAI SDK,同样报 404,但 ollama run 在命令行里能正常对话。 原因:路径、版本、模型名三处对不上 请求了不属于它的路径。Ollama 原生接口在 /api/generate、/...