抓取超时率 17.4% | 3.2 秒的响应该从哪层砍

GSC 的抓取统计里,平均响应时间 3.2 秒,超时率 17.4%,一天 1,860 次请求卡在超时。同期抓取总量从 1.1 万降到 6,800,新文章平均要 9 天才被抓第一次。

第一反应是机器不够,把 PHP 进程从 20 加到 40,又开了 opcache 和整页缓存。平均响应降到 3.0 秒,超时率 15.2%,等于没动。加机器这条路走不通,说明慢的不是并发。

换成按 UA 分桶统计 nginx 访问日志,把蜘蛛请求单独拎出来,按路径算 P95。结果很集中:站内搜索 /search 占 41%,带 12 个筛选参数的列表页占 21%,这两类页面的 P95 都在 8 秒以上,而它们本来就不该被大量抓。

处理分三块。搜索页加 X-Robots-Tag noindex,同时在 robots.txt 里把 /search 的 query 组合挡掉,只留不带参数的入口;筛选页把常用的 12 种组合做成静态路径,其余组合返回 301 到主分类;剩下的慢查询补了两个联合索引,单条从 1.9 秒降到 90 毫秒。

还有一层是限速。之前没给蜘蛛单独设并发,正常用户和蜘蛛抢同一批 PHP 进程。在 Nginx 里按 UA 给蜘蛛单独一个 limit_req 桶,每秒 8 个请求,突发 20,超了返回 429 而不是排队等到超时。蜘蛛拿到 429 会退避,比拿超时好。

改完第二周,平均响应 0.9 秒,超时率 0.4%,抓取总量回到 1.4 万。确认口径是抓取统计里的响应时间和日志里的 $request_time 对得上,两边差得太多说明中间还有一层 CDN 在拖。

import re
pat = re.compile(r'(Baiduspider|Googlebot)')
for ln in open('access.log', encoding='utf-8', errors='ignore'):
    if not pat.search(ln):
        continue
    f = ln.split()
    if len(f) > 10 and float(f[-1]) > 2:
        print(f[6], f[-1])

您可以还会对下面的文章感兴趣: