陆零云
24
0
列表页有 62 个分页,地址是 /list/2.html 到 /list/62.html。年初做「减少重复内容」时,模板给第 2 页之后的每个分页都加了 noindex,理由是用户主要看第一页。半年后统计,只在分页里出现的商品有 2,100 个,收录数是 0。
第一反应是这些商品本身质量差。抽查 40 个,标题、参数、图片都齐全,跟首页推荐位没有区别。区别只在入口,第一页的商品有 3 条内链,分页里的只有 1 条,还带着 noindex。
给分页加 noi...
陆零云
29
0
新站 8,000 条商品,想用 Indexing API 加速收录。脚本一次提交 500 条,第 201 条开始返回 429,body 里写着 RESOURCE_EXHAUSTED,quota metric 是 IndexingApiRequestsPerProjectPerDay,limit 200。
第一反应是并发太高。把并发降到 1,每条间隔 1 秒,跑到第 201 条照样 429。这时候才认真看配额那一行,确实是每天 200 条,和速率无关。
试过...
陆零云
29
0
2000 条产品页,上线半年收录 310 条,之后三个月一直没涨。日志里蜘蛛每天来 1500 次,抓取正常,返回码 200,就是不给索引。
第一反应是外链和权重。发了 20 条外链,加了 300 条内链指向这批页面,收录多 12 条,基本等于没动。
后来把页面正文抽出来数。去掉导航、页脚、推荐位,用脚本统计可见文本,中位数 296 字。参数表是一张 JPG,alt 只写「产品参数」。剩下能读的就是「厂家直销 欢迎咨询 支持定制」这几句模板。
试过往正文里塞...
陆零云
41
0
现象:百度抓取诊断里全是 429,收录掉了 60%
上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。
第一步:去掉 robots.txt 里的 Crawl-delay
很多站长以为 Crawl-delay 是限百度...