站被采集工具刷了两年,404 日志每天 3,000 次请求,涉及约 2.4 万个垃圾 URL。用死链提交工具上传了一个 txt,两周后平台显示只处理了 300 条,其余全在失败明细里。
第一反应是工具没生效,把文件原样重传一次,结果还是 300。翻失败明细才看到原因,八成行写着「URL 格式错误」。
打开文件一看,每行是两个字段:地址和状态码,中间用空格隔开,比如 /shop/123.html 404。工具只认一行一个 URL,多出来的列被当成 URL 的一部分,自然解析不了。另外 6,000 行写的是带 ?from= 的参数地址,这些地址现在 301 到别处,提交了也不会被当死链。
重做文件时加了两道过滤。第一道只保留状态码 404 的路径,301 和 410 全部剔掉;第二道用 Curl 批量回探一次,只留现在仍返回 404 的,避免把已经恢复的页面提交成死链。输出一行一个完整 URL,带协议和域名,编码用 UTF-8 不带 BOM。
第一批提交 1.1 万条,一周后处理掉 8,400 条,第二次补剩下的 6,000 条,又处理了 5,200 条。404 日志的日请求从 3,000 降到 400 以下,抓取预算回到正常页面。
同时也做了止损。采集源集中在三个 IP 段,在 Nginx 里按 UA 和设备指纹限速,同一 IP 一分钟超过 30 次就返回 444,不再进日志,避免死链越扫越多。
import re
seen = set()
out = open('dead.txt', 'w', encoding='utf-8')
for ln in open('404.log', encoding='utf-8', errors='ignore'):
m = re.search(r'GET (\S+) HTTP', ln)
if m and m.group(1) not in seen:
seen.add(m.group(1))
out.write('https://idc.00645.com'
+ m.group(1) + '
') 