健康检查 100% 失败但服务正常 | 探针源 IP 怎么查

陆零云 8 0
凌晨两点收到告警,负载均衡把八台后端全部摘除,业务整体 502 持续四分钟。登上去 curl 本机 8080,返回 200,进程和端口都正常。 先看健康检查的失败原因,控制台只写连接超时,100% 失败。在机器上抓包,探针源地址是 100.64.3.21,目标 8080,SYN 进来了,SYN-ACK 也回了,之后探针又发一次 SYN,像是没收到回包。 查 iptables,INPUT 链只放行 10.0.0.0/8 和几个固定地址,100.64 这段不在...

一致性哈希 8 台后端只吃到 2 台 | 虚拟节点加到 160 怎么验

陆零云 27 0
缓存代理层扩到八台以后,监控上两台 CPU 常年 90%,另外六台只有 20%。第一反应是权重配错,把配置拉下来逐行看,八台的 weight 都是 100,没有差别。 统计每台的实际 key 数量,两台加起来承担了 71% 的请求。看连接数也印证了这一点,高的两台各 3.2 万,低的只有 4 千。再看 key 的构成就明白了,业务方的 key 前缀几乎一样,都是 item 加一个自增 ID,前几位完全相同,哈希散不开。 再加上虚拟节点只配了 40 个,环上...

源地址哈希扩容后 120 个用户会话漂移怎么定位

陆零云 28 0
负载均衡从四台扩到五台,第二天上午登录接口的 401 从每分钟十几次涨到 120 次,用户反馈刚登录就被踢出来。 先查会话存储。session 放在 Redis,五台共用,key 前缀一致,登录态本身没丢。401 的响应体里写的是 token 校验失败,不是未登录,说明请求到了后端但过不了校验。 抓一台新机器的日志,token 校验要拿上游 OAuth 的公钥,每台机器本地缓存一份,有效期一小时。第五台刚上线,缓存是空的,落到它上面的请求都要回源取公钥。...

least_conn 换上去长尾反涨 200 毫秒 算法怎么挑

陆零云 27 0
商品接口的 P99 一直比 P50 高六倍,四台后端配置一样,负载却总有一台偏高。运维建议把轮询换成 least_conn,说能自动避开慢机器。 换完当天下午,P99 从 620 毫秒涨到 830 毫秒,比改之前更差。监控上四台的连接数倒是很平均,每台八百上下。 第一反应是 least_conn 没生效。nginx -T 确认 upstream 里写的就是它,重载也做了,配置没问题。 问题出在连接数这个指标本身。上游开了 keepalive,每条连接能复用...

腾讯云负载均衡 0.2 元一小时 加 LCU 费用一个月多少钱

陆零云 34 0
业务从单机换成腾讯云负载均衡,选了按量计费,页面写实例费 0.2 元一小时,我按 730 小时估 146 元一个月。第一个月账单 412 元,多出来的 266 元在明细里找不到对应条目,只看到 LCU 三个字母。 第一反应是小时数算错,控制台显示实例在线 731 小时,实例费 146.2 元,分毫不差。剩下那 245 元是 LCU 性能容量单位的费用,0.05 元一个一小时,账单里平均 6.7 个。 LCU 取新建连接数、并发连接数、处理流量、规则评估四个...

后端权重改了不生效 502 还是全压一台

陆零云 26 0
四台后端,两台 8 核两台 4 核,把权重调成 100 比 100 比 25 比 25,等了十分钟看监控,流量还是各占四分之一,4 核机器 CPU 已经 90%,开始零星 502。 先确认改的是不是生效的那一组。云控制台上有两个后端组,一个挂在 HTTP 监听器,一个挂在 HTTPS 监听器,我们改的是前者,真实流量全走 443,压根没碰。 把 HTTPS 那组的权重改对,十分钟后分布还是老样子。这时候看连接数,ss -tn 按目的地址统计,四台各八千多条...