客户报海外上传慢,一个 2.3MB 的包要 11 秒,折算下来不到 200KB/s。我在服务器上复现,curl 上传同一份文件,时间和客户说的差不多。
ss -ti 看连接细节,cwnd 停在 10,ssthresh 也是 10,重传比例 18.4%。这个组合很像链路在丢包,先按丢包查。
iperf3 单线程跑一遍,结果一样;mtr 三十跳扫下来没有一跳持续丢包;机房那边说没做限速。三条线索都不支持丢包。
回头看连接寿命。业务是短连接,每次上传新建一条 TCP,传完就关,一条连接活 300 毫秒上下。内核默认 tcp_slow_start_after_idle 是 1,空闲超过一个 RTT 就把 cwnd 收回初始值 10,等于每条连接都从慢启动第一步开始,还没涨起来就结束了。
抓 20 条连接核对,cwnd 全落在 10 到 14 之间,没有一条超过 20。到这里能确认不是链路问题,是窗口没机会长大。
改了两处。业务侧把上传改成 keepalive 复用连接,一条连接连着传多个包;系统侧把初始窗口从 10 提到 20,接收窗口一起给到 20。顺手把 tcp_slow_start_after_idle 关掉,长连接空闲后不用再从头爬。
ip route change default via 10.0.0.1 dev eth0 initcwnd 20
sysctl -w net.ipv4.tcp_slow_start_after_idle=0
ss -ti dst 203.0.113.9 | grep -o 'cwnd:[0-9]*'
复测同一个包,11 秒降到 3.4 秒,峰值 cwnd 到 62。重传比例没怎么变,还是 0.4%,说明之前那 18.4% 是窗口太小引发的连锁重传,不是线路质量。
initcwnd 别一次给太大,20 是常见安全值,给到 40 在丢包链路上会把重传放大,我们试过一次,东南亚那条线路直接把重传推回 12%。
短连接为主的接口也顺手查了一遍,同一个域名下还有 6 个接口是每次新建连接,改完这部分 QPS 没变,P99 从 420ms 掉到 190ms。
