压测卡在 12 万 QPS 上不去,24 核的机器 top 里 CPU0 的 si 跑到 99%,其余 23 个核几乎空闲。业务进程的 CPU 使用率不到 30%,瓶颈不在应用。
先看中断落在哪。cat /proc/interrupts 数了一下,eth0 的 16 个队列全是 CPU0 在收。irqbalance 被运维为了稳定性停掉了,中断亲和性又没人配,全堆在第一个核。
手动把队列绑到 0 到 15 核,si 摊开了,QPS 涨到 18 万,但立刻卡住。继续看 /proc/softirqs,NET_RX 还是集中在两个核,说明收包之后的分发没散开。
网卡是 virtio,实际只有 2 个队列,硬件分流的上限就在这。剩下的只能靠 RPS 在软件层把包摊到其他核。当前 rps_cpus 是 0,等于没开。
试过直接把掩码写成 1,只放一个核,结果更糟,QPS 掉回 10 万。掩码是按 CPU 位图算的,ff 表示 0 到 7 号核,ffff 才是 16 个核。这个坑踩过一次就记住了。
for q in /sys/class/net/eth0/queues/rx-*; do
echo ffff > $q/rps_cpus
echo 32768 > $q/rps_flow_cnt
done
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
掩码改成 ffff,flow 表 32768 之后,NET_RX 均匀落在 16 个核上,单核 si 峰值 41%。再压一轮,QPS 到 38 万,P99 从 340 毫秒降到 96 毫秒。
顺手把 net.core.netdev_max_backlog 从 1000 提到 8192。压测时 /proc/net/softnet_stat 里第三列每隔几秒涨一次,那是丢包计数,提上去之后归零。
RPS 有代价,跨核投递会多一次缓存失效,小包场景收益有限。判断标准很简单,看单核 si 是否超过 50% 且其他核空闲,是就配,不是就别动。
