陆零云
8
0
凌晨两点收到告警,负载均衡把八台后端全部摘除,业务整体 502 持续四分钟。登上去 curl 本机 8080,返回 200,进程和端口都正常。
先看健康检查的失败原因,控制台只写连接超时,100% 失败。在机器上抓包,探针源地址是 100.64.3.21,目标 8080,SYN 进来了,SYN-ACK 也回了,之后探针又发一次 SYN,像是没收到回包。
查 iptables,INPUT 链只放行 10.0.0.0/8 和几个固定地址,100.64 这段不在...
陆零云
27
0
缓存代理层扩到八台以后,监控上两台 CPU 常年 90%,另外六台只有 20%。第一反应是权重配错,把配置拉下来逐行看,八台的 weight 都是 100,没有差别。
统计每台的实际 key 数量,两台加起来承担了 71% 的请求。看连接数也印证了这一点,高的两台各 3.2 万,低的只有 4 千。再看 key 的构成就明白了,业务方的 key 前缀几乎一样,都是 item 加一个自增 ID,前几位完全相同,哈希散不开。
再加上虚拟节点只配了 40 个,环上...
陆零云
28
0
负载均衡从四台扩到五台,第二天上午登录接口的 401 从每分钟十几次涨到 120 次,用户反馈刚登录就被踢出来。
先查会话存储。session 放在 Redis,五台共用,key 前缀一致,登录态本身没丢。401 的响应体里写的是 token 校验失败,不是未登录,说明请求到了后端但过不了校验。
抓一台新机器的日志,token 校验要拿上游 OAuth 的公钥,每台机器本地缓存一份,有效期一小时。第五台刚上线,缓存是空的,落到它上面的请求都要回源取公钥。...
陆零云
27
0
商品接口的 P99 一直比 P50 高六倍,四台后端配置一样,负载却总有一台偏高。运维建议把轮询换成 least_conn,说能自动避开慢机器。
换完当天下午,P99 从 620 毫秒涨到 830 毫秒,比改之前更差。监控上四台的连接数倒是很平均,每台八百上下。
第一反应是 least_conn 没生效。nginx -T 确认 upstream 里写的就是它,重载也做了,配置没问题。
问题出在连接数这个指标本身。上游开了 keepalive,每条连接能复用...
陆零云
34
0
业务从单机换成腾讯云负载均衡,选了按量计费,页面写实例费 0.2 元一小时,我按 730 小时估 146 元一个月。第一个月账单 412 元,多出来的 266 元在明细里找不到对应条目,只看到 LCU 三个字母。
第一反应是小时数算错,控制台显示实例在线 731 小时,实例费 146.2 元,分毫不差。剩下那 245 元是 LCU 性能容量单位的费用,0.05 元一个一小时,账单里平均 6.7 个。
LCU 取新建连接数、并发连接数、处理流量、规则评估四个...
陆零云
26
0
四台后端,两台 8 核两台 4 核,把权重调成 100 比 100 比 25 比 25,等了十分钟看监控,流量还是各占四分之一,4 核机器 CPU 已经 90%,开始零星 502。
先确认改的是不是生效的那一组。云控制台上有两个后端组,一个挂在 HTTP 监听器,一个挂在 HTTPS 监听器,我们改的是前者,真实流量全走 443,压根没碰。
把 HTTPS 那组的权重改对,十分钟后分布还是老样子。这时候看连接数,ss -tn 按目的地址统计,四台各八千多条...