服务器日志 8000 条里百度只抓首页 内页不抓怎么排查 陆零云 2026-11-09 16:06:00 33 0 现象 从 Nginx 日志里筛出百度蜘蛛的记录,一天 8000 条请求里有 7000 多条打在首页和栏目页,真正抓取文章详情的不到 3%。新发布的文章一周内没有任何蜘蛛访问记录,而首页被抓取的频率高得离谱。把日志按小时排开,首页几乎每几分钟就有一条,内页的记录零星分布在凌晨。 原因 首页上放了几十条指向同一批链接的入口,蜘蛛每一轮都从这里重新爬,抓取预算被首页消耗殆尽。常见诱因有三类:自适应的广告位或 JS 弹窗生成了大量带参数的首页地址;sitemap...