对账任务每小时调一次上游的计费接口,用的是常驻进程里 curl 的连接复用。最近一周,每小时那次调用有三分之一直接失败,日志里是 HTTP 502 和 Connection reset by peer。
第一反应是上游挂了。翻上游的状态页,那个时间点没有故障记录。改成不复用连接、每次新建的脚本跑,一次都没失败,问题就落在长连接上。
抓包看得很清楚。空闲四分多钟之后复用链路发请求,第一个包出去,回来的不是响应而是 RST。conntrack -L 里那条会话在四分钟左右就消失了。这台机器在云上,出口走 NAT 网关,网关的会话空闲超时是 300 秒,本地 nf_conntrack_tcp_timeout_established 还是默认的 432000 秒,两边根本不同步。
试过把本地 conntrack 超时调到 240 秒,没用,回收发生在网关那一侧。试过在应用层捕获异常后重试,能兜住,但每次都要先吃一个 RST,平均多花 1.2 秒。
最终三个动作一起做:客户端开 TCP keepalive,空闲 45 秒探测一次;服务端把空闲连接主动关闭的时间从 7200 秒改到 240 秒;重试保留,只重试一次并强制重建连接。
$ch = curl_init($url);
curl_setopt_array($ch, [
CURLOPT_TCP_KEEPALIVE => 1,
CURLOPT_TCP_KEEPIDLE => 45,
CURLOPT_TCP_KEEPINTVL => 15,
CURLOPT_FORBID_REUSE => 0,
CURLOPT_TIMEOUT => 10,
]);
验证跑了二十四小时,每小时一次调用,另外加每十分钟一次的探活,失败 0 次。conntrack -L 里那条会话的剩余时间一直保持在两百秒以上,说明探测包确实保住了映射。
keepalive 这几个参数写进了公共的 HTTP 客户端封装,另外四个在云上的服务一起改了,之前偶发的 502 也一起消失。
