优惠券服务发版那晚,下单接口的成功率从 99.7% 掉到 62%。链路追踪里,失败请求全卡在调用优惠券这一步,返回 502。熔断器确实打开了,问题是它一直开开关关,一小时里抖了四十多次。
第一反应是阈值设低了。失败率阈值 50%,滑动窗口 10 秒,下游一挂就开。调到 80% 之后还是抖,只是频率低一点,没解决根本问题。
看日志才明白。熔断打开 30 秒后进入半开,配置放 5 个请求去探测,这 5 个是并发发出去的。下游刚重启还没预热,数据库连接池也没建好,5 个全超时,熔断立刻又打开。下一轮还是一样。
把半开探测改成 1 个。第一个成功才继续放量,失败就把等待时间翻倍,30 秒变 60 秒,再变 120 秒,封顶 300 秒。
resilience4j.circuitbreaker.instances.coupon:
slidingWindowSize: 50
failureRateThreshold: 60
waitDurationInOpenState: 30s
permittedNumberOfCallsInHalfOpenState: 1
minimumNumberOfCalls: 20
光改熔断不够。优惠券在下单主链路里,它挂了下单就挂。加了一层本地缓存快照,五分钟同步一次,熔断期间直接读快照,页面上提示以结算为准。这样下游挂掉只是优惠金额不准,订单还能下。
线程池也做了隔离,优惠券单独 20 个线程,不占下单的 200 个。之前一个慢调用把公共池占满,连查订单都排队,这是第二个故障源。
确认:混沌测试里直接停掉下游 60 秒,熔断打开,半开探测失败后等 60 秒再试;下游恢复后第一次探测成功,10 秒内流量回到 100%。下单成功率回到 99.6%,P99 从 4.8 秒降到 320 毫秒。
熔断的参数不是拍脑袋定的。半开探测数要小于下游能承受的并发,等待时间要大于下游冷启动时间,这两条对齐了才不抖。
