现象
Nginx 作为反向代理,后端应用日志里连接的源端口每秒新增上千个,ss -tan 看到大量 TIME_WAIT,接口 P99 从 40ms 涨到 120ms。配置里已经写了 upstream keepalive 32,也加了 proxy_set_header Connection "",但看起来完全没起作用。
原因
三个地方最容易漏。一是没有 proxy_HTTP_version 1.1,Nginx 默认用 1.0,HTTP/1.0 本身不支持连接复用,keepalive 指令就形同虚设;二是 keepalive 必须写在 upstream 块内,写在 server 或 location 里不生效;三是 proxy_pass 直接写了后端 IP 而没有引用 upstream 名字,请求根本没走到连接池。另外 keepalive_requests 默认 1000,达到上限后 Nginx 会主动关闭连接。
解决步骤
第一步,确认配置写在了正确的位置。用 nginx -T 导出完整配置,检查 keepalive 是否位于 upstream 花括号内。
nginx -T | grep -A6 "upstream"
ss -tan | grep :8080 | awk '{print $1}' | sort | uniq -c
ss -tan | grep :8080 | wc -l
第二步,补齐协议版本与请求头。在 location 里加 proxy_http_version 1.1 和 proxy_set_header Connection "",后者用于清掉客户端带来的 close,让上游连接保持打开。
第三步,调整连接生命周期。把 keepalive_requests 提到 10000,keepalive_timeout 设 60s,并保证它小于后端应用的空闲超时,否则会拿到已被对端关闭的连接。
验证
重载配置后观察后端,源端口增长明显放缓,TIME_WAIT 从上万降到几十条,接口 P99 回到 50ms 以内,说明连接确实被复用了。
小结
keepalive 不生效大多是协议版本没改、位置写错或没走 upstream 三种原因。用 nginx -T 定位,再补 1.1 与空 Connection 头,最后校准超时。
