接口从直连改成走 Nginx 反代,功能没问题,P50 从 8ms 变成 48ms。每次请求都稳定多四十毫秒,不是长尾,是整体平移,这种数字一看就不在数据库或 GC 上。
先用 curl 分段看时间。dns 0.001、connect 0.002、appconnect 0.002、starttransfer 0.046、total 0.048。服务端自己的耗时日志写着 8ms,中间四十毫秒全花在等响应上。
在两端同时抓包。请求包到上游后 1ms 就回了响应头,响应体却晚了 40ms,两个包之间的间隔正好卡在延迟确认的上限。上游是自研的 PHP 网关,写响应时先 write 头再 write 体,两次 send。它的 socket 建出来之后没设 TCP_NODELAY,Nagle 把第二个小包攒着等 ACK,对端又开着延迟确认,两边互相等,四十毫秒就这么来的。
试过在 Nginx 上加 proxy_buffering off,没用,问题在上游的 socket 上。试过让上游拼成完整响应再发,四十毫秒消失,但那个网关还有别的调用方,改协议不现实。
最后在建立连接的地方打开 TCP_NODELAY,只动一行。
// 连接建立后立刻打开
$s = stream_socket_client('tcp://10.0.0.21:9000',
$errno, $errstr, 2);
$sock = socket_import_stream($s);
socket_set_option($sock, SOL_TCP, TCP_NODELAY, 1);
fwrite($s, $req);
验证跑五百次压测,P50 回到 9ms,抓包里响应头和响应体的间隔 0.2ms。Nginx 到客户端那一侧的 tcp_nodelay 和 keepalive_timeout 也顺手确认了,两项默认就是开的,不用动。
回头把同一台网关的其他接口扫了一遍,凡是响应分两次写的都多四十毫秒,统一在连接池创建处加了选项,一处改动全部生效。
