蜘蛛日志里 404 占 38%:URL 大小写和尾斜杠怎么归一

陆零云 22 0
把一天的 Nginx 日志按 UA 过滤出百度蜘蛛,1.9 万次请求里 7,200 次返回 404,占 38%。站点总共才 2,100 篇文章,一天被撞出七千个死链,说明有大量变体地址在被反复请求。 抽样看路径,三类最集中:/PHP/opcache.html 这种大小写混写、/php/opcache.html/ 带尾斜杠、还有 /index.php/php/opcache.html 这种带入口文件的。第一反应是加一条 rewrite 全转小写,上线当天出现...

服务器日志 8000 条里百度只抓首页 内页不抓怎么排查

陆零云 32 0
现象 从 Nginx 日志里筛出百度蜘蛛的记录,一天 8000 条请求里有 7000 多条打在首页和栏目页,真正抓取文章详情的不到 3%。新发布的文章一周内没有任何蜘蛛访问记录,而首页被抓取的频率高得离谱。把日志按小时排开,首页几乎每几分钟就有一条,内页的记录零星分布在凌晨。 原因 首页上放了几十条指向同一批链接的入口,蜘蛛每一轮都从这里重新爬,抓取预算被首页消耗殆尽。常见诱因有三类:自适应的广告位或 JS 弹窗生成了大量带参数的首页地址;sitemap...