现象:小包能通,大文件传一半就卡死
服务器能 SSH 登录,ping 网关也正常,但 scp 传几百兆的文件传到一半停住,curl 下载大文件报 Operation timed out,浏览器打开大图一直转圈。换成小文件、小请求又完全正常,很容易被误判成带宽不足或磁盘慢。
原因:路径 MTU 比本机网卡小
TCP 握手时会协商 MSS,但协商值按双方网卡的 MTU 计算。中间链路如果有 PPPoE、IPsec、GRE、VXLAN 等封装,实际能承载的包会变小;链路又不返回 ICMP 分片需要(fragmentation needed),发送端就一直按 1500 字节发,大包在中间被丢弃,表现就是握手成功、传输卡死。
- PPPoE 拨号线路的实际 MTU 一般是 1492;
- IPsec、GRE、VXLAN 封装会再吃掉 20 到 100 字节;
- 云安全组或防火墙丢弃 ICMP,路径 MTU 发现直接失效。
定位步骤
第一步,用小包和大包对比。-M do 禁止分片,-s 是 ICMP 负载长度,加 28 字节包头才是实际包大小:
ping -M do -s 1472 8.8.8.8 # 1500 字节,通
ping -M do -s 1464 8.8.8.8 # 1492 字节,测 PPPoE
ping -M do -s 1400 8.8.8.8
如果 1472 不通、1400 通,说明路径 MTU 落在 1428 到 1500 之间,继续二分就能逼近真实值。
第二步,确认本机网卡 MTU。
ip link show eth0
ip link set dev eth0 mtu 1492
临时改完立刻重测传输。如果恢复正常,再把 MTU 写进 NetworkManager 或 systemd-networkd 配置,避免重启后回退。
第三步,在网关上做 MSS 钳制。改终端 MTU 只能治本机,转发场景更稳的做法是让网关按路径 MTU 改写 SYN 包的 MSS:
iptables -t mangle -A FORWARD -p tcp \
--tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
第四步,用 tcpdump 确认丢在哪一跳。两端同时抓大于 1400 字节的包,发送端有、接收端没有,就说明大包在中间被丢了,而不是应用层超时:
tcpdump -ni eth0 'tcp port 22 and greater 1400'
第五步,确认 ICMP 没被整段禁掉。只放行 echo request 不够,类型 3 代码 4 的 fragmentation needed 必须能回到发送端,否则路径 MTU 发现永远失效。云上安全组常把 ICMP 全关,这是大包卡死的高发原因。
小结
小包通、大包卡,先怀疑 MTU,而不是带宽。用 ping -M do 二分出路径 MTU,再改网卡或做 MSS 钳制,最后检查 ICMP 放行。VPN 和容器网络叠加时链路 MTU 可能低到 1400 以下,按实测值配置即可。
