陆零云
27
0
商品详情页串行调 6 个接口,加起来 1.8 秒。价格、库存、优惠、评价、推荐、运费险,一个等一个。改成并发之后 620ms,我以为这事完了。
第二天风控的人找过来,说我们接口错误率 3%,全是 429。他们给的限额是单 IP 200 QPS,详情页并发 6 个请求,热门商品一上首页,瞬间就打满。
第一反应是加重试。结果 429 更多了,重试把瞬时压力又放大一倍。这个方向错了,重试只适合偶发失败,不适合限流,越重越堵。
改成并发池,上限 4,超出的排队。对...
陆零云
41
0
现象:百度抓取诊断里全是 429,收录掉了 60%
上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。
第一步:去掉 robots.txt 里的 Crawl-delay
很多站长以为 Crawl-delay 是限百度...