网关 1200 个请求后回 GOAWAY | 长连接全重建怎么调

陆零云 29 0
网关日志里每隔四十秒出现一批连接重建,TLS 握手的 QPS 从 300 冲到 2600。前端没报错,但首屏 P99 从 90 毫秒涨到 210 毫秒,用户能感觉到一顿。 第一反应是客户端连接池太小。把池子从 50 调到 200,握手峰值一点没降,反而更高,不是池子的问题。 抓 HTTP/2 的帧。连接传完第 1200 个请求之后收到一个 GOAWAY,last_stream_id 正好是最后一个完成的流。客户端实现没处理这个帧,直接把整条连接扔掉重建。...

tcp_keepalive_time 7200 秒 中间设备 300 秒清表怎么对齐

陆零云 24 0
门店 POS 的长连接有个怪现象,空闲五分钟后第一次操作必然失败,第二次就好。全国 300 多家店,每天累计几百次,收银员都习惯了先点两下。 在服务端抓包,失败前那条连接是被对端发 FIN 断的,FIN 来自中间的防火墙,不是客户端也不是服务端。防火墙的空闲会话超时写的 300 秒,到点直接清表。 服务端这边 tcp_keepalive_time 是内核默认的 7200 秒,两个小时才发第一个探测包。中间设备早把会话清掉,服务端还认为连接活着,写进去的数据...

tcp_tw_reuse 开了服务端 6 万 TIME_WAIT 还是降不下来怎么办

陆零云 29 0
网关的 80 端口在晚高峰堆了 6.2 万条 TIME_WAIT,ip_local_port_range 只给了 2.8 万个口,新建连接开始零星报 cannot assign requested address,前端偶尔白屏。 第一反应是开 tcp_tw_reuse。改完盯了半小时,TIME_WAIT 数量一点没降,还是六万上下,等于白改。 翻内核文档才想明白,tw_reuse 只对主动发起连接的一方有效,还要求开启时间戳。我们这台是服务端,连接是 ng...

长连接跑一天内存涨 2GB | 缓冲区怎么设才不 OOM

陆零云 34 0
网关进程的 RSS 每天涨 2GB 左右,跑到第三天被 OOM killer 干掉,重启之后归零,如此循环了两周。连接数稳定在 48 万,没有明显泄漏的业务对象。 先看 pprof 的堆快照,排前面的不是业务结构体,是 bufio 的读写缓冲。每个连接默认 4KB 读加 4KB 写,48 万连接光缓冲就是 3.9GB 上限,实际占 2GB 出头,对得上。 问题在于这些缓冲不释放。连接进了空闲池,对象还挂着引用,GC 看着不算垃圾,量就慢慢堆。每日新建连接一...

长连接 600 秒必断 | keepalive_timeout 和 SLB 空闲超时怎么对齐

陆零云 36 0
客户反馈 App 挂后台十分钟回来就要重新建连,日志里的断开时间几乎卡在 600 秒,误差不到一秒。这种整数一定是某个设备的空闲计时器,不是网络抖动。 链路是手机到云 SLB,再到 Nginx 和 Java 服务。Nginx 的 keepalive_timeout 是 75s,理论上 75 秒就该断,实际却活了十分钟,说明中间有设备在替我们保活,或者 Nginx 那段根本没走长连接。proxy_read_timeout 是 60s,管的是读超时,和空闲断连...

Nginx 配了 upstream keepalive 32 长连接仍不复用 proxy_http_version 怎么改

陆零云 41 0
现象 Nginx 作为反向代理,后端应用日志里连接的源端口每秒新增上千个,ss -tan 看到大量 TIME_WAIT,接口 P99 从 40ms 涨到 120ms。配置里已经写了 upstream keepalive 32,也加了 proxy_set_header Connection "",但看起来完全没起作用。 原因 三个地方最容易漏。一是没有 proxy_http_version 1.1,Nginx 默认用 1.0,HTTP/1.0 本身不支持连接...

EventSource 断线后不重连 接口返回 204 是为什么

陆零云 29 0
现象 页面用 EventSource 订阅服务端推送,跑一段时间后连接悄悄断开,控制台没有任何报错,onerror 只触发一次就再也不重连,消息面板停在最后一条,只有刷新页面才恢复。服务端日志里能看到连接被关闭,但客户端没有发起新的请求。 原因 浏览器对 SSE 的自动重连带明确规则:收到 HTTP 204 会停止重连,收到非 200 状态或者错误的 Content-Type 也会关闭连接。网关超时、会话过期时服务端返回 204 或 502,客户端就再也不...