秒杀开始的头三秒,入口统计里 SYN 丢了 30%,可已经连上的用户下单全都正常,接口耗时也没涨。这种一半正常一半失败的现象最容易看错方向。
netstat -s 里 SYNs to LISTEN sockets dropped 三万多,ListenOverflows 是 0。两个数字放一起说明丢在半连接队列,不是全连接队列,accept 慢不是原因。
第一反应是调 somaxconn,从 1024 改到 65535,nginx 的 backlog 也写到 8192。压了一轮,SYN 还是丢,一点没变。半连接队列的上限看的是 tcp_max_syn_backlog,和 somaxconn 不是一个东西。
把 tcp_max_syn_backlog 从 1024 提到 8192,丢包降到 3%。还剩一点,看 tcp_syncookies 是 1,队列溢出时会启用 cookie,此时 SYN 队列里的选项丢失,窗口缩放因子发不出去,部分客户端握手后吞吐极低。
这就是标题里说的开错。syncookies 是兜底手段,不是常规配置,队列够大就不该让它频繁触发。判断方法看 SyncookiesSent,压测期间涨了 4 万,说明一直在兜底。
sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=8192
nstat -az | grep -i -E 'ListenOverflows|SyncookiesSent'
ss -lnt sport = :80
队列调大之后 SyncookiesSent 归零,SYN 丢包 0.03%。还有一处要顺手看,nginx 的 worker 数得够,单 worker 顶不住瞬间涌入,reuseport 打开让每个 worker 各自建队。
事后翻配置发现,这台机器的 backlog 从装机起就没动过,还是默认的 1024。这类参数平时不显眼,压到临界点才暴露,压测计划里应该单列一项。
