下午两点开始 502 暴涨,Nginx 错误日志里全是 connect() failed (110: Connection timed out) while connecting to upstream,源站负载 3 都不到,连接数却是平时的十倍。
先看是不是 CC。access log 按 IP 聚合,前 20 个 IP 贡献了 78% 的请求,UA 全是同一个版本,请求集中在两个搜索接口,每个都带随机参数,缓存全被打穿。
限速先上,按 IP 和按接口两条线。
limit_req_zone $binary_remote_addr zone=perip:20m rate=10r/s;
limit_conn_zone $binary_remote_addr zone=connip:10m;
server {
limit_req zone=perip burst=20;
limit_conn connip 10;
}
burst 给 20,nodelay 不能加,加了等于没限。上线十分钟 QPS 从 8000 压到 1200,502 少了但没断根,攻击源分散在几百个 IP 上,单 IP 限速效果有限。
这时候上清洗。业务正常峰值 800Mbps,我让厂商把触发阈值设在 2Gbps,攻击流量当时 6.8Gbps,触发后掉到 900Mbps 左右,回源恢复正常。阈值不能设太低,之前设 1Gbps 的时候误伤过一次,正常晚高峰被打进清洗,延迟从 30ms 涨到 90ms。
另外把 upstream 的 connect timeout 从 60s 降到 5s,让坏连接快速失败,别把 worker 占死。worker_connections 提到 20480,somaxconn 同步调到 20480,backlog 跟着改。限速打到 503 的比例压在 2% 以内,正常用户基本无感。
事后看,502 的直接原因是 upstream 连接队列打满,不是源站扛不住。限速和清洗两层的阈值要错开,一个在 10r/s,一个在 2Gbps,同时触发会互相干扰,日志也不好对。
