现象
业务高峰过后执行 ss -s,orphaned 一栏显示 3000 多,内存占用迟迟不降,新连接开始间歇性超时。netstat -anp 里大量连接处于 FIN_WAIT1 和 CLOSE_WAIT,应用进程数却很正常,重启服务后数字会掉下去,但第二天又涨回来。
原因
orphaned socket 指已经没有任何进程持有、但内核仍在等待关闭或重传的连接。常见来源是应用调用 close 后对端不回 ACK、中间设备静默丢弃长连接,以及应用根本没关连接导致 CLOSE_WAIT 堆积。当数量接近 net.ipv4.tcp_max_orphans,内核会开始主动丢弃,表现为握手失败和超时。
解决步骤
第一步,先分清是哪一个状态在堆积。按状态统计连接数,再对内核套接字统计取样,判断是等待对端关闭还是本端没释放。
ss -s
ss -tan state fin-wait-1 | wc -l
ss -tan state close-wait | wc -l
cat /proc/net/sockstat
第二步,调整与孤儿连接相关的内核参数。适当提高 tcp_max_orphans 上限只能缓解表象,更关键的是压低 tcp_orphan_retries 和 tcp_fin_timeout,让内核更快放弃无望的重传,同时确认没有被中间设备改小的 keepalive 时间。
第三步,回到应用侧修根因。检查连接池是否设置最大空闲时间、是否在异常分支漏掉 close;对端不回 FIN 的长连接,缩短 keepalive 探测间隔,必要时由网关下发 RST 回收,改完再观察一天。
验证
ss -s 里 orphaned 数量回落到两位数并保持稳定,CLOSE_WAIT 不再持续增长,内存曲线平缓,新连接失败率恢复到正常水平。
小结
孤儿连接多不是内核坏了,而是关闭流程没走完。先按状态定位,再收紧重传与超时参数,最后修应用侧的连接释放,才算真正清理干净。
