账单里有一项内网流量,260 元。第一反应是算错了,内网不是免费吗。提工单问,对方回复同地域跨可用区的流量按 0.01 元每 G 计费,只有同一个可用区内才免。
回头看架构,应用在可用区 A,Redis 和 MySQL 全在可用区 B。当初是为了容灾,把数据层单独放了一个区,应用层扩到四十台之后,每天跨区读写几十 TB。
先把量算清楚。统计每个实例连出去的 Redis 地址,按网段归并,26TB 一个月,0.01 元一 G 正好 260 元,和账单对得上。账单上这项不叫内网流量,叫跨可用区流量,名字不一样,找起来容易漏。
我先试了在应用层加本地缓存,把热点 key 挡掉一部分,跨区流量降到 18TB,账单少了一百块。可缓存一致性出了问题,有两个业务读到过期数据,这个方案只能小范围用。
真正的解法是把调用挪到同区。给可用区 A 单独部署一组 Redis 从节点,读请求走本地,写请求仍然回主节点。MySQL 也加了同区只读实例。改完跨区流量降到 2.4TB,账单 24 元。
ss -tn dport = :6379 | awk '{print $5}' | cut -d: -f1
ss -tn dport = :6379 | wc -l
curl -s http://100.100.100.200/latest/meta-data/zone-id
复核用了一个月,账单稳定在 24 元上下。跨区计费这件事,架构评审时就要算进去,等到机器扩到几十台再改,迁移成本比那点流量费高得多。
统计脚本留着继续跑,每台应用机五分钟采一次连接目的地址,汇总到一张表里,下个月再出现异常增长,当天就能看出来。
