分页第 2 页起全设 noindex 深层商品 2100 条不收录怎么办

陆零云 24 0
列表页有 62 个分页,地址是 /list/2.html 到 /list/62.html。年初做「减少重复内容」时,模板给第 2 页之后的每个分页都加了 noindex,理由是用户主要看第一页。半年后统计,只在分页里出现的商品有 2,100 个,收录数是 0。 第一反应是这些商品本身质量差。抽查 40 个,标题、参数、图片都齐全,跟首页推荐位没有区别。区别只在入口,第一页的商品有 3 条内链,分页里的只有 1 条,还带着 noindex。 给分页加 noi...

Indexing API 一天只能推 200 条:8000 条 URL 怎么排优先级

陆零云 29 0
新站 8,000 条商品,想用 Indexing API 加速收录。脚本一次提交 500 条,第 201 条开始返回 429,body 里写着 RESOURCE_EXHAUSTED,quota metric 是 IndexingApiRequestsPerProjectPerDay,limit 200。 第一反应是并发太高。把并发降到 1,每条间隔 1 秒,跑到第 201 条照样 429。这时候才认真看配额那一行,确实是每天 200 条,和速率无关。 试过...

正文 300 字的页面被判内容薄 收录一直不涨怎么补

陆零云 29 0
2000 条产品页,上线半年收录 310 条,之后三个月一直没涨。日志里蜘蛛每天来 1500 次,抓取正常,返回码 200,就是不给索引。 第一反应是外链和权重。发了 20 条外链,加了 300 条内链指向这批页面,收录多 12 条,基本等于没动。 后来把页面正文抽出来数。去掉导航、页脚、推荐位,用脚本统计可见文本,中位数 296 字。参数表是一张 JPG,alt 只写「产品参数」。剩下能读的就是「厂家直销 欢迎咨询 支持定制」这几句模板。 试过往正文里塞...

百度蜘蛛抓取频控提示 429 Rate Limit 怎么改 robots.txt 和限速规则才不影响正常收录

陆零云 41 0
现象:百度抓取诊断里全是 429,收录掉了 60% 上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。 第一步:去掉 robots.txt 里的 Crawl-delay 很多站长以为 Crawl-delay 是限百度...