陆零云
68
0
先分清是显存不够还是内存不够
Ollama 加载模型失败时,日志里常见两种报错:一种来自 CUDA,提示 out of memory;另一种来自系统内核,只留下一个 killed。前者是显存装不下模型,后者是主机内存被吃光,处理方向完全不同。先看 ollama serve 的前台输出,同时用 nvidia-smi 观察加载瞬间的显存峰值。
ollama serve
nvidia-smi --query-gpu=memory.total,memory.use...
陆零云
44
0
现象:模型明明跑起来了,接口却回 404
在本机部署 Ollama 后,用 curl 请求 http://localhost:11434/v1/chat/completions,返回 404 page not found。直接把 Ollama 地址填进 OpenAI SDK,同样报 404,但 ollama run 在命令行里能正常对话。
原因:路径、版本、模型名三处对不上
请求了不属于它的路径。Ollama 原生接口在 /api/generate、/...