6 个接口串行 1.8 秒 改并发后下游 429 怎么收敛

陆零云 27 0
商品详情页串行调 6 个接口,加起来 1.8 秒。价格、库存、优惠、评价、推荐、运费险,一个等一个。改成并发之后 620ms,我以为这事完了。 第二天风控的人找过来,说我们接口错误率 3%,全是 429。他们给的限额是单 IP 200 QPS,详情页并发 6 个请求,热门商品一上首页,瞬间就打满。 第一反应是加重试。结果 429 更多了,重试把瞬时压力又放大一倍。这个方向错了,重试只适合偶发失败,不适合限流,越重越堵。 改成并发池,上限 4,超出的排队。对...

百度蜘蛛抓取频控提示 429 Rate Limit 怎么改 robots.txt 和限速规则才不影响正常收录

陆零云 41 0
现象:百度抓取诊断里全是 429,收录掉了 60% 上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。 第一步:去掉 robots.txt 里的 Crawl-delay 很多站长以为 Crawl-delay 是限百度...