陆零云
23
0
接口从直连改成走 Nginx 反代,功能没问题,P50 从 8ms 变成 48ms。每次请求都稳定多四十毫秒,不是长尾,是整体平移,这种数字一看就不在数据库或 GC 上。
先用 curl 分段看时间。dns 0.001、connect 0.002、appconnect 0.002、starttransfer 0.046、total 0.048。服务端自己的耗时日志写着 8ms,中间四十毫秒全花在等响应上。
在两端同时抓包。请求包到上游后 1ms 就回了响应...
陆零云
51
0
自建 LLM 网关前面挂 Nginx,SSE 接口在 61 秒左右必断,浏览器 EventSource 收到 504 后自动重连,用户看到回答从头再吐一遍。后端日志显示请求还在跑,模型到 90 秒才生成完。
Nginx error.log 里是 upstream timed out (110: Connection timed out) while reading response header from upstream。注意是 header 不是 bo...