对象存储并发 1000 个 DELETE 返回 503 退避怎么配

清理任务要删 12 万个过期对象,我开了 40 个线程并发 DELETE。前 3 分钟很顺,之后开始大面积 503,响应头里带着 Retry-After: 1。

第一反应是服务端在限流,加线程对冲。加到 80 之后 503 比例从 12% 涨到 46%,等于把对方逼得更狠。

错误码是 503 SlowDown,对象存储对同一前缀的请求有 QPS 上限,前缀越集中越容易撞。我们的 key 按日期平铺,12 万个对象全压在 2026/10/ 这一个前缀下面。

改成三件事:并发降到 8,按前缀再分一层,请求之间加随机退避。SDK 自带重试,但默认是固定间隔,撞上限的时候没有意义,换成 adaptive 模式让它自己调速。

from botocore.config import Config
cfg = Config(
    max_pool_connections=16,
    retries={"max_attempts": 8, "mode": "adaptive"},
)
client = boto3.client("s3", config=cfg, endpoint_url=END)

退避要带抖动。所有线程同时等 1 秒再一起起来,等于制造第二波峰值。用 0.5 到 1.5 秒的随机区间,效果比固定值好很多。

最后 12 万个对象 26 分钟删完,503 占比 0.4%,全部被重试吃掉。之前 40 线程虽然快一点,但有 3000 多个请求重试 8 次之后仍然失败,只能手工补。

重试还要区分错误码。503 和 500 可以重试,403 和 404 重试多少次都没用,只会把日志刷满。包装层里写死了可重试集合,只有 SlowDown、RequestTimeout 和 500 进重试分支,其余直接抛出去。

现在这类批量任务统一走队列,速率由消费端控制,前缀做哈希打散。判断标准是 503 超过 1% 就自动降并发,不用等人盯着。

您可以还会对下面的文章感兴趣: