复现一个偶发的 502,在网关抓包,跑了五分钟,tcpdump 退出时打印一行 3000 packets dropped by kernel。业务日志里那段时间正好有七次失败,全在被丢的区间里。
第一反应是磁盘慢。换到 /dev/shm,丢包数从 3000 降到 2400,有改善,说明写盘确实占了一部分,但不是全部。
看 ring buffer。ethtool -S 里 rx_missed_errors 涨了两千多,网卡自己的缓冲在丢,包还没进内核就没了。
这台机器的 PPS 峰值 38 万,默认 rx ring 只有 512 个描述符,突发流量一来就溢。抓包工具再快,也追不上网卡这一层。
中间试过只抓头部。-s 96 把每个包截到 96 字节,丢包降到 600,还是不够,因为瓶颈不在拷贝长度,在丢包路径上的锁和队列。
还有个细节,过滤写在 -w 之前和之后不一样。写在后面是先全量抓再过滤,等于白抓;写在前面内核只把匹配的包送上来,开销差好几倍。
tcpdump -i eth0 -s 96 -B 32768 -w /dev/shm/cap.pcap
ethtool -G eth0 rx 4096
awk '{print $3}' /proc/net/softnet_stat | tail -n 4
最后是三处一起调。网卡 ring 拉到 4096,tcpdump 缓冲开到 32768 KB,抓包只过滤目标端口,不做全量。改完丢包归零。
验证方法很简单,抓完看两处统计,tcpdump 自己的 dropped 计数和 softnet_stat 第三列,两个都为零才算干净。
用 -i any 的时候没法做 ring 优化,所有网卡走一遍抓取点,PPS 高的时候更容易丢。能确定网卡就别图省事。
抓全之后才看清问题。七次 502 都发生在同一个后端,网关发出的请求对端回了 RST,和抓包丢不丢没关系,之前一直被丢包掩盖着。
