Nginx 反代下关掉 TCP_NODELAY 接口慢 40 ms 怎么定位

陆零云 23 0
接口从直连改成走 Nginx 反代,功能没问题,P50 从 8ms 变成 48ms。每次请求都稳定多四十毫秒,不是长尾,是整体平移,这种数字一看就不在数据库或 GC 上。 先用 curl 分段看时间。dns 0.001、connect 0.002、appconnect 0.002、starttransfer 0.046、total 0.048。服务端自己的耗时日志写着 8ms,中间四十毫秒全花在等响应上。 在两端同时抓包。请求包到上游后 1ms 就回了响应...

Nginx 反代 SSE 60 秒断成 504 | 缓冲和读超时怎么分开查

陆零云 51 0
自建 LLM 网关前面挂 Nginx,SSE 接口在 61 秒左右必断,浏览器 EventSource 收到 504 后自动重连,用户看到回答从头再吐一遍。后端日志显示请求还在跑,模型到 90 秒才生成完。 Nginx error.log 里是 upstream timed out (110: Connection timed out) while reading response header from upstream。注意是 header 不是 bo...