限流上线第三天,网关 429 比例冲到 63%。桶容量 100,补充速率 20/s,正常流量 30 QPS,按理说打不满。
看日志,某个上游服务超时后客户端重试,1 秒内打了 800 个请求。桶瞬间清空,之后每个请求都 429,连 /health 都被拦,K8s 探针失败把 Pod 摘了,雪上加霜。
Lua 脚本里 refill 是这么写的:local now = redis.call('TIME')[1],只取秒。同一秒内的所有请求 elapsed 都是 0,令牌一个都不补。突发过去 3 秒才慢慢恢复,业务早就超时了。
改成毫秒。TIME 返回秒和微秒两个值,拼成毫秒时间戳,令牌存成浮点,补充量按 elapsed/1000*rate 算。多实例部署必须用 Redis 的时间,不能用应用服务器的 currentTimeMillis,机器之间差 200ms 就够乱。
local t = redis.call('TIME')
local now = tonumber(t[1]) * 1000 + math.floor(tonumber(t[2]) / 1000)
local data = redis.call('HMGET', key, 'tokens', 'ts')
local tokens = tonumber(data[1]) or capacity
local elapsed = math.max(0, now - (tonumber(data[2]) or now))
tokens = math.min(capacity, tokens + elapsed * rate / 1000)
if tokens < 1 then return 0 end
tokens = tokens - 1
容量和速率也重新定了。按峰值 5 倍留余量,capacity 设 300,rate 设 100,允许 3 秒的突发。超过这个量本来就该拒,不算误伤。
健康检查和内部调用走单独通道,/health 和 /internal 前缀不进限流脚本。这条比调参数更关键,探针被限流会引发连环摘实例。
429 响应补了 Retry-After,值是距离下一个令牌的毫秒数向上取整到秒。客户端 SDK 之前固定 1 秒重试,现在按这个头退避,重试风暴自己就散了。
验证:jmeter 800 线程打 30 秒,429 占比 4%,P99 从 1.8 秒降到 220ms;再打 30 QPS 稳态 10 分钟,429 为 0。
