vLLM 0.6 的 /v1/chat/completions 请求返回 404 怎么查路由前缀

现象

用 vLLM 0.6.3 起了 OpenAI 兼容服务,Curl 请求 http://127.0.0.1:8000/v1/chat/completions 返回 404,响应体是 {"detail":"Not Found"},但同一端口访问 /v1/models 能正常列出模型。

原因

404 表示 HTTP 服务正常,只是请求路径没有匹配到路由。常见三种:客户端 base_url 里多写了一层 /v1,最终拼成 /v1/v1/chat/completions;Nginx 反向代理时 location 带前缀却没有 rewrite,后端收到的是带前缀的完整路径;还有一种是用旧版启动脚本,只挂了 completions 路由,没有 chat 接口。

解决步骤

第一步,直连端口排除代理。用 curl 打本机地址,带上 Content-Type 和最小请求体,返回 404 才是路径问题,返回 422 说明路径对了只是参数不全。

curl -s http://127.0.0.1:8000/v1/models
curl -s -X POST http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen7b",
       "messages":[{"role":"user","content":"hi"}]}'

第二步,核对客户端的 base_url。OpenAI SDK 会自动在后面补 /chat/completions,base_url 写到 /v1 为止即可,多一层就会 404;自己封装的客户端要把完整 URL 打印出来。

第三步,修反代路径。Nginx 里让 proxy_pass 末尾带斜杠,并配合 rewrite 把业务前缀去掉,转发到后端根路径;改完先 nginx -t 检查语法再 reload。

验证

直连和经代理两种方式都返回 200,响应里 usage 有 prompt_tokens 统计;把 base_url 打印出来核对,说明配置已经一致。

小结

OpenAI 兼容接口的 404 多数是路径拼接问题。先直连确认服务正常,再核对 base_url 与反代 rewrite,比怀疑模型没加载要快得多。

您可以还会对下面的文章感兴趣: