下午两点,站点的 5M 出口跑满,带宽图一条直线贴着顶,可访问量比平时还低。用户反馈页面转圈,打开要十几秒。nginx 的 active connections 从八百涨到 2600。
先看是什么在占。按 IP 聚合当前连接,前二十个 IP 各有一百多条 ESTAB,全部停在下载接口上,每条只跑几 KB 就不动了。这不是正常下载,是有人把连接开满再慢慢读。
ss -tn state established '( sport = :443 )' |
awk '{print $5}' | cut -d: -f1 |
sort | uniq -c | sort -rn | head -20
第一反应是上防火墙封 IP,封了二十个,十分钟后换了一批新的,出口还是满的。限速脚本按 IP 限到 10KB/s,稍微好一点,但连接数还在涨,说明对方不在乎速度,只要占着连接。
查 nginx 配置才发现坑在哪。send_timeout 用的默认六十秒,CLIent_body_timeout 也是六十秒,一个连接发完请求头就停住,服务端要干等一分钟。两千多个连接乘上这个等待时间,worker 和带宽全被绑住。
改法是三条一起上。send_timeout 压到 10 秒,client_header_timeout 压到 5 秒,keepalive_timeout 从 75 秒降到 15 秒;下载接口单独一个 location,加 limit_conn 限制单 IP 两个并发,limit_rate 给 512k。
限速不能一刀切,不然正常用户下大文件会被误伤。按 UA 和 Referer 放行站内下载页,其余一律走限制。
半小时后连接数从 2600 掉到 620,出口回落到 2.1M,页面打开时间从十几秒回到 1.2 秒。第二天同一时段又冒出来两百个连接,被 limit_conn 挡住,出口没再冲顶。
这类攻击不看流量看连接数,带宽图只能反映结果。现在监控加了 active connections 阈值告警,超过一千五就发消息,比等带宽跑满早十分钟。
