凌晨两点告警,调用 Claude-3-5-sonnet-20241022 的摘要服务成功率掉到 71%。日志里刷的是 HTTP 529,body 为 {"type":"error","error":{"type":"overloaded_error","message":"Overloaded"}}。这个码跟 429 不是一回事,429 是你超了自己的额度,529 是 Anthropic 那边整体过载,重试能不能成看运气。
当时客户端超时设的 30 秒,遇到 529 直接抛给业务。我先统计了一天日志:4.2 万次请求里 529 占 1.3%,集中在 UTC 14 点到 16 点,也就是国内晚上十点前后。单次 529 平均 6 秒后恢复,最长一次连续 40 秒不可用。
策略改成分层。529 只重试 2 次,间隔 8 秒和 20 秒,总时间预算 45 秒;预算用完还在 529,就降级到 gpt-4o-mini 出一版草稿,并在结果里标记来源。降级版本质量差一档,但比直接 500 强。
超时不能设太短,长文本生成本来就慢,30 秒会把正常的 4000 字摘要切掉。我按输入长度分档,2000 字以内给 40 秒,超过给 60 秒,别一档打天下。
def call_with_budget(fn, budget=45):
start, delay = time.time(), 8
for _ in range(3):
try:
return fn()
except Overloaded:
if time.time() - start + delay > budget:
break
time.sleep(delay)
delay = min(delay * 2.5, 20)
return fallback()
降级路径也压测过,gpt-4o-mini 那侧的配额够用,但输出风格差很多,前端加了一个来源标记,运营能看到哪篇是兜底生成的,别让它悄悄混进正式稿。
改完一周,529 导致的失败从 1.3% 降到 0.1%,降级触发 320 次,抽查 20 篇能用。取舍的关键不是重试几次,是一次请求最多等多久,45 秒是我这边用户能忍的上限,再长不如直接给降级结果。
