支付回调服务凌晨遇到上游机房光缆被挖,按常理半分钟内就该报警,实际是十三分钟后才看到接口失败。这段时间里 200 个回调线程全挂住,连接池被打空,正常订单跟着排队。
应用日志里没有异常,只有一串正常的 GC 输出。ss -ti 看那条卡住的连接,retrans 计数器一路涨到 15,unacked 停在 1,说明数据发出去了没人确认,内核还在死等。
查 tcp_retries2,值是 15。这是重传次数,按 RTO 指数退避累加,1 秒、2 秒、4 秒这样翻,到第 15 次差不多 924 秒,十五分钟出头。内核的设计目标是尽量不误杀连接,放在同步等待的回调场景里就完全不合适。
第一反应是在应用层加超时。PDO 的 ATTR_TIMEOUT 设了 5 秒,curl 也设了,走 HTTP 的那个模块生效,走原生 socket 的模块没设,照样卡死。
试过把 SO_SNDTIMEO 设成 30 秒,只对单次 write 有效。数据进了内核发送缓冲区就算写成功,后面重传多久它不管,文件描述符还是被占着。
换成 TCP_USER_TIMEOUT,这个选项专治重传期间的死等。设 30 秒,内核在这段时间内收不到确认就把连接置错返回,应用立刻能拿到失败并释放线程。
ss -ti dst 10.20.1.9
sysctl -w net.ipv4.tcp_retries2=5
sysctl -w net.ipv4.tcp_user_timeout=30000
代码里那个选项也能按连接单独设,写在建连之后:
int ms = 30000;
setsockopt(fd, IPPROTO_TCP, TCP_USER_TIMEOUT, &ms, sizeof(ms));
tcp_retries2 全局调到 5 会影响这台机器上所有连接,数据库和消息队列本身有心跳,问题不大,但保险起见只改回调网关这一台,写进 sysctl.conf。
改完做了一次断网演练,拔掉网线,25 秒后应用抛出连接重置,线程池占用从 200 降到 3,队列里没有堆积。演练时间和参数一起写进了变更单,后面别的服务照抄。
