200MB 的安装包,客户那边下载速度稳定在 100KB/s 左右,换浏览器、换网络都一样。同一台机器用 iperf3 打 TCP 能到 48Mbps,链路本身没问题。
先看发送端的拥塞窗口和发送队列。
ss -tin dst 203.0.113.9
cubic wscale:7,7 rto:204 rtt:58.2/12.4
cwnd:10 ssthresh:7 send 14.6Kbps
rcv_space:29200
cwnd 一直停在 10 个 MSS,大概 14KB,Send-Q 是 0,说明应用层写完就没了,内核没有积压。这种形态一般不是丢包导致的窗口收缩,而是发送方每次只写一小块。
直接 curl 打源站 IP,绕开 CDN,速度还是 100KB/s,排除 CDN。用 curl -w 看各阶段耗时,starttransfer 之后速度曲线是一条直线,平得不像拥塞控制。客户把下载器改成四线程,数字几乎没动,也说明卡在服务端。
翻 nginx 配置,在 server 段找到一行 limit_rate 100k,是去年防采集时加的。后来 location 调整过,这行被下面的 include 继承到了下载目录。注释掉重启,单线程跑到 4.6MB/s。
另一个客户是反过来的。服务端没限速,客户端接收窗口只有 65535,RTT 60ms,算下来 BDP 不到 500KB,理论上限就是 1MB/s 出头。这种情况服务端怎么调 tcp_wmem 都没用,窗口是接收端给的,只能让用户换网络或者上多连接。
判断顺序我一般这样:先 ss 看 Send-Q 和 cwnd,再看有没有 limit_rate,最后算 BDP。前两步能解决八成下载慢的工单,第三步多数时候只是解释给客户听。
顺手提一句,mtu 不一致也会表现成速度上不去,但那种通常伴随小文件也慢、ping 大包不通,和这里的直线限速不一样。
