日志里 3.1 万次 Googlebot 六成是假的 反查 DNS 怎么验

陆零云 24 0
把 7 天 Nginx 日志按 UA 分组,Googlebot 出现 31,400 次,比上个月多了 4 倍。第一反应是收录要涨,结果 GSC 的抓取统计只报了 11,800 次,两边差 19,600 次。 差的这部分不是延迟造成的。抓取统计有两天延迟,把时间窗对齐后再比,仍然差 1.8 万。剩下一种可能:UA 是伪造的。站内有个价格接口,被采集方刷了半个月。 验证不能只看 UA。正规做法是反向 DNS:拿来源 IP 查 PTR,域名必须以 googleb...

抓取超时率 17.4% | 3.2 秒的响应该从哪层砍

陆零云 31 0
GSC 的抓取统计里,平均响应时间 3.2 秒,超时率 17.4%,一天 1,860 次请求卡在超时。同期抓取总量从 1.1 万降到 6,800,新文章平均要 9 天才被抓第一次。 第一反应是机器不够,把 PHP 进程从 20 加到 40,又开了 opcache 和整页缓存。平均响应降到 3.0 秒,超时率 15.2%,等于没动。加机器这条路走不通,说明慢的不是并发。 换成按 UA 分桶统计 nginx 访问日志,把蜘蛛请求单独拎出来,按路径算 P95。结...