内网两台机器传 40GB 备份,前 200MB 能跑到 40MB/s,之后掉到 4MB/s 并稳定住。两端都是万兆,交换机端口没有错包,磁盘顺序写也能到 800MB/s,看上去不像磁盘瓶颈。
ss -tin 盯着看,接收端 rwnd 反复落到 0,发送端停在发送队列里等窗口。零窗口不是链路断了,是接收缓冲被填满,应用没来得及把数据读走。
先查内核缓冲。net.ipv4.tcp_rmem 是 4096 87380 6291456,最大值 6MB。这条链路 RTT 40 毫秒,按 1Gbps 算 BDP 就有 5MB,6MB 的缓冲只够塞一个 BDP,稍有抖动窗口就归零。
把上限提到 32MB,同时打开 tcp_moderate_rcvbuf,让内核按 BDP 自动扩。core.rmem_max 也得一起抬,不然 setsockopt 会被截断。
sysctl -w net.ipv4.tcp_rmem="4096 87380 33554432"
sysctl -w net.core.rmem_max=33554432
ss -tin state established '( dport = :9000 )' | grep -c 'rwnd:0'
改完再传,速度稳在 38MB/s,采样两百次没有一次 rwnd 归零。应用侧也顺手把读缓冲从 8KB 提到 256KB,少了两万多系统调用。
中间试过只调应用缓冲,不动内核。速度涨到 9MB/s 就上不去了,说明瓶颈还是在协议栈这一层,应用读得再快也没有窗口可用。
还有个容易被忽略的点,备份走的是加密通道,加密层的读循环是单线程,40MB/s 时单核 CPU 已经 92%。把读写拆成两个线程后才真正吃满带宽,这条比调内核参数更关键。
现在这批备份的传输时间从 2 小时 40 分压到 18 分钟,零窗口计数为 0。
