长连接空闲 200 ms 首个请求多花 260 ms 慢启动该不该关

对账服务调合作方的接口,正常一次 40ms 左右。压测时发现一个怪现象:连续请求很快,一旦中间空闲超过一秒,下一次请求就变成 300ms,P99 从 60ms 抖到 320ms。合作方那边说他们的处理时间没变,看日志都是十几毫秒。

第一反应是连接池把连接回收了,重新建连要握手。把池子的空闲回收时间从 30 秒改到 300 秒,抓包确认复用同一个四元组,问题照旧。又怀疑是 DNS,解析结果加了本地缓存,也排除。

用 ss -tin 看连接状态,空闲前 cwnd 是 230 多,空闲一秒后再看,cwnd 掉回 10。抓包也能对上,重新发数据时前面三个往返都是小包,窗口一点点涨,第四个往返才恢复到正常速率。链路 RTT 40ms,三个往返就是 120ms,加上服务端处理,正好凑成 300ms。

这是内核的默认行为。net.ipv4.tcp_slow_start_after_idle 为 1 时,一条连接空闲超过一个 RTO,拥塞窗口就重置成初始值,重新走慢启动。设计初衷是怕空闲期间网络状况变差,还按老窗口猛发会压垮链路。内网到合作方是专线,路径固定,这个担心在我们这里不成立。

先试了应用层心跳,每 500ms 发一个空包把连接喂住。窗口是保住了,但空包占了将近三成流量,合作方那边还增加了无效请求,不划算。第二个方案是把这个 sysctl 关掉。

sysctl -w net.ipv4.tcp_slow_start_after_idle=0
ss -tin dst 10.20.0.15 | grep -E "cwnd|rtt"
net.ipv4.tcp_slow_start_after_idle = 0
# 写入 /etc/sysctl.d/99-tcp.conf 持久化

改完在测试机上用 tc netem 加 40ms 固定延迟,模拟空闲一秒再请求,循环一千次。P99 从 180ms 降到 45ms,抓包里第一个数据包就是满窗口,没有那三个小往返。

这个参数不是所有场景都该关。公网出口那台机器我们保留默认值,路径上跳数多,空闲后链路状况确实会变。只有走专线和同城内网的机器改了,配置写进 sysctl.d 目录,重启后依然生效。上线一周,对账接口的 P99 稳定在 55ms 上下。

您可以还会对下面的文章感兴趣: