把一天的 Nginx 日志按 UA 过滤出百度蜘蛛,1.9 万次请求里 7,200 次返回 404,占 38%。站点总共才 2,100 篇文章,一天被撞出七千个死链,说明有大量变体地址在被反复请求。
抽样看路径,三类最集中:/PHP/opCache.html 这种大小写混写、/php/opcache.html/ 带尾斜杠、还有 /index.php/php/opcache.html 这种带入口文件的。第一反应是加一条 rewrite 全转小写,上线当天出现 301 循环,浏览器直接报重定向过多。
原因是规则用了不区分大小写的匹配,重写后的地址仍然命中同一条规则,一直跳。日志里每个请求跳了 20 次才被判循环。
改成先归一再一次跳转:把请求 URI 转小写、去掉结尾斜杠、去掉 index.php 前缀,拼成目标地址,只有原地址和新地址不同才返回 301。目录页是例外,保留尾斜杠。
光跳转不够,源头还在。模板里有 1,900 处内链写的是带 index.php 的地址,改模板比加规则更彻底。改完一周,301 的量从每天 6,000 降到 400。
两周后 404 占比从 38% 降到 6%,有效页抓取多了 5,000 次。剩下的 6% 是外部老链接和用户拼错的地址,属于正常损耗。
日志里的 404 要看路径分布,不看总数。同一个页面被三种写法撞,说明站内链接不统一,改规则只是止血。
awk '$9 == 404 {print $7}' access.log |
sed 's/[?].*//' |
sort | uniq -c | sort -rn | head -20 