现象:模型明明跑起来了,接口却回 404
在本机部署 Ollama 后,用 Curl 请求 http://localhost:11434/v1/chat/completions,返回 404 page not found。直接把 Ollama 地址填进 OpenAI SDK,同样报 404,但 ollama run 在命令行里能正常对话。
原因:路径、版本、模型名三处对不上
- 请求了不属于它的路径。Ollama 原生接口在
/api/generate、/api/chat,OpenAI 兼容层是 0.1.24 之后才加上的,老版本访问/v1/...一律 404。 - 模型名没带标签。接口不接受模糊匹配,必须写
qwen2.5:7b这样的完整名称,只写qwen2.5可能匹配不到本地已有的 tag。 - 服务只监听了回环地址。默认绑定
127.0.0.1,容器内或其他机器访问时连端口都到不了,反向代理也会把前缀改错。
解决步骤
第一步,确认本地模型全名。
ollama list
第二步,先用原生接口打通,排除客户端因素:
curl http://127.0.0.1:11434/api/generate \
-d '{"model":"qwen2.5:7b","prompt":"hi","stream":false}'
第三步,需要 OpenAI 兼容时升级版本,再走 /v1/chat/completions:
ollama --version
curl http://127.0.0.1:11434/v1/models
第四步,开放监听地址。编辑 systemd 服务,加上环境变量后重启,让容器和局域网能访问:
Environment="OLLAMA_HOST=0.0.0.0:11434"
systemctl daemon-reload
systemctl restart ollama
如果前面挂了 Nginx,注意 proxy_pass 结尾不要多写斜杠去改写路径,否则 /v1/ 会被拼成 //v1/,同样返回 404。
第五步,区分 404 和 405。如果路径对、方法错,返回的会是 405 而不是 404;如果是容器部署,先确认端口映射写的是 -p 11434:11434,宿主机防火墙也要放行,否则报的是连接被拒绝,仍然不是 404。用 /v1/models 能否列出模型,可以快速判断兼容层是否存在。
小结
404 基本都是路径和版本问题,不是模型没加载。先用 ollama list 确认全名、用原生接口验证服务,再接 OpenAI 兼容层。
