6 个接口串行 1.8 秒 改并发后下游 429 怎么收敛

商品详情页串行调 6 个接口,加起来 1.8 秒。价格、库存、优惠、评价、推荐、运费险,一个等一个。改成并发之后 620ms,我以为这事完了。

第二天风控的人找过来,说我们接口错误率 3%,全是 429。他们给的限额是单 IP 200 QPS,详情页并发 6 个请求,热门商品一上首页,瞬间就打满。

第一反应是加重试。结果 429 更多了,重试把瞬时压力又放大一倍。这个方向错了,重试只适合偶发失败,不适合限流,越重越堵。

改成并发池,上限 4,超出的排队。对 429 不重试,读响应头里的 Retry-After 退避。推荐和运费险这两个非关键接口,改成首屏渲染完再请求。

const limit = 4;
let running = 0; const queue = [];
const run = (fn) => new Promise((res, rej) => {
  const task = () => { running++; fn().then(res, rej)
    .finally(() => { running--; queue.shift()?.(); }); };
  running < limit ? task() : queue.push(task);
});

这里有个细节:Promise.all 里一个 reject,整组结果都拿不到。改用 allSettled,单个接口挂了就用兜底数据,价格拿不到显示加载中,不要让整页报错。

压测重跑,p95 从 620ms 回到 780ms,429 归零。慢了一点,但错误率从 3% 到 0,风控不再找我们,这笔账划算。

并发池第一版写错了,running 在 finally 里减,任务抛异常时却没有 catch,未处理的 reject 把日志刷满。补了一层兜底才算完。

监控也补了。按接口维度打点,429 单独计数,超过千分之一就告警。没有这条,下次改并发又会悄悄打穿下游,只是换个人来问。

后来又调了一次上限。4 是拍脑袋定的,实测 6 个接口里只有 1 个平均 400ms,其余都在 100ms 内。把慢的那个单独排到队列末尾,上限提到 5,p95 到 700ms。

并发数不能只看页面耗时,得看下游限额除以峰值 QPS。200 除以 40 就是 5,超过这个数,省下的那几百毫秒迟早用 429 还回去。队列长度也要封顶,超过 50 个直接返回兜底数据,不然慢请求会把内存堆起来。这条写进了接口文档,谁加下游调用都要先报限额。

您可以还会对下面的文章感兴趣: