长连接跑一天内存涨 2GB | 缓冲区怎么设才不 OOM

网关进程的 RSS 每天涨 2GB 左右,跑到第三天被 OOM killer 干掉,重启之后归零,如此循环了两周。连接数稳定在 48 万,没有明显泄漏的业务对象。

先看 pprof 的堆快照,排前面的不是业务结构体,是 bufio 的读写缓冲。每个连接默认 4KB 读加 4KB 写,48 万连接光缓冲就是 3.9GB 上限,实际占 2GB 出头,对得上。

问题在于这些缓冲不释放。连接进了空闲池,对象还挂着引用,GC 看着不算垃圾,量就慢慢堆。每日新建连接一百多万,池子里的空闲连接越攒越多。

还发现一个细节,上游响应体读完没有 Close,连接被放回池子时底层 socket 还在读。pprof 里能看到大量 net.TCPConn 挂在 runtime 的 poll 上,每个都带着一块 1KB 起的缓冲。

试过把 GOGC 从 100 调到 50,内存涨得慢一点,CPU 多了 12%,治标不治本。也试过定时重启,一天两次,用户侧的连接全断,投诉比 OOM 还多。

真正的改法是把缓冲调小加上空闲回收。读写缓冲从 4KB 降到 512B,大部分请求的头部就几十字节,512B 够用,超过再扩容。空闲连接 300 秒回收,池子上限按核数乘 64 封顶。

ss -tn state established '( sport = :8080 )' | wc -l
GODEBUG=gctrace=1 ./gateway 2>&1 | tail -n 20
curl -s localhost:6060/debug/pprof/heap > heap.out

改完跑了一天,RSS 从 6.8GB 稳在 2.4GB,没有再往上爬。GC 的 pause 从 12 毫秒降到 3 毫秒,P99 也跟着好看了一点。

上线前先在一台灰度机器跑满二十四小时,对比两次 heap 快照的差值,稳定在 300MB 以内才推全量。缓冲改小的代价是超过 512B 的请求会多一次扩容,实测这部分只占 4%。

判断缓冲是否合理,看平均请求大小而不是最大值。平均不到 1KB 的连接,给 4KB 缓冲纯属浪费,乘以连接数就是几个 G。

您可以还会对下面的文章感兴趣: