AI 网关一天 8600 次调用,账单里多出 47 笔重复扣费,都是同一个 request_id 扣了两次。查日志,第一次请求上游其实已经算完,网关等响应时超了 30 秒,回了 502,客户端按重试策略又发一遍,上游不知道这是同一件事,照常计费。
最初的重试是遇到 502 就重发,间隔 2 秒,最多 3 次。问题在于 502 分两种,一种是请求没到上游,重试安全;一种是上游算完了但回包丢了,重试就是二次计费。网关当时没有区分,一律重试。
现在客户端每次请求带一个 Idempotency-Key,用业务单号加模型名做 md5,服务端收到先查 Redis,命中就直接返回上次结果,TTL 设 24 小时。写入要加 SETNX 锁,避免两个并发请求同时穿透。Redis 挂掉时幂等会失效,所以 key 同时写一份到本地表,回放对账用。
def call(payload, key=None):
key = key or hashlib.md5(
json.dumps(payload, sort_keys=True).encode()).hexdigest()
got = redis.get("idem:" + key)
if got:
return json.loads(got)
res = post(payload, headers={"Idempotency-Key": key})
redis.setex("idem:" + key, 86400, json.dumps(res))
return res
网关侧再补一层,502 响应头里带 X-Upstream-Committed: true 时不自动重试,交给业务决定。这一条把重复计费从每天 40 多笔压到 0,代价是这类请求要人工或者异步补偿。客户端的重试要区分幂等和非幂等接口,流式接口本身不能重试,断了只能让用户重发。
对账用上游的 usage 日志和本地订单表按 request_id 关联,一条上游记录对应多条订单就是异常。上线两周跑了 12 万次调用,重复率 0,补偿队列里积压 3 条,都是上游真超时。上游也有自己的 request_id,回包时带回来,和本地 key 一起存,查账快很多。压测时故意让上游延迟 35 秒,100 次请求只产生 100 条计费记录,说明幂等生效。
