十一月账单出来,带宽费比上月多 400 元,流量却没涨,CDN 侧的出流量几乎是一条直线。
先怀疑被刷。把入口 IP 按流量排序,前二十名都是自家业务和几个爬虫,没有异常峰值。又看了并发连接数,一天下来很平稳,不像被人打了。
我们买的是按带宽计费,95 峰值乘单价,超出部分另算。账单上还有一项月峰值,用的是同一个数,所以一次高峰会被算两遍。
让云厂商把计费采样点导出来,五分钟一个点,一天 288 个。账单峰值出现在凌晨三点二十,连续两个小时维持在 780 Mbps,正好二十四个采样点,超过了 5% 的免计费比例,被算进 95 峰值。
采样文件是 CSV,288 行,我用脚本按小时聚合,才看出凌晨那段是一条平顶的线,不像自然流量,更像某个定时任务。
三点二十在跑什么。翻 crontab,全量备份两点半启动,mysqldump 加 gzip 之后往对象存储推,压缩比不错,但出口带宽没人管,能跑多快跑多快。备份原来跑在业务机上,后来挪到独立的一台,出口还是同一条,限速只能在那台上做。
第一版改法是提前到一点,避开其他任务重叠,峰值一点没降。第二版把压缩级别从 1 调到 6,传输量少了四成,带宽只降到 600 Mbps,还是超。
tc qdisc add dev eth0 root tbf rate 200mbit burst 32mbit
rsync -a --bwlimit=25000 /data/ backup@10.0.9.8:/data/
# 95 峰值按 5 分钟采样 连续两小时躲不掉
最后在备份机上加了令牌桶,出口限到 200 Mbps,rSYNc 自己再限 25 MB/s。备份时间从四十分钟拉长到两小时,反正夜里没人等这个结果。
限速之后备份失败过两次,原因是 rsync 超时设的 600 秒,限到 25 MB/s 之后大文件传不完。把超时改成 3600 秒才稳。运维一开始不同意限速,怕恢复时间变长,我把恢复演练的 RTO 摆出来,两小时仍在窗口内,才通过。
下个月账单回来,95 峰值从 780 落到 310,费用少了 420 元。监控上加了一条,出口连续十分钟超过 400 Mbps 就告警,别等账单出来才发现。
95 计费的口径要记住,短时尖峰会被丢掉,持续两小时的负载一定进账单。给备份限速,比扩带宽便宜得多。
