日志里 3.1 万次 Googlebot 六成是假的 反查 DNS 怎么验

把 7 天 Nginx 日志按 UA 分组,Googlebot 出现 31,400 次,比上个月多了 4 倍。第一反应是收录要涨,结果 GSC 的抓取统计只报了 11,800 次,两边差 19,600 次。

差的这部分不是延迟造成的。抓取统计有两天延迟,把时间窗对齐后再比,仍然差 1.8 万。剩下一种可能:UA 是伪造的。站内有个价格接口,被采集方刷了半个月。

验证不能只看 UA。正规做法是反向 DNS:拿来源 IP 查 PTR,域名必须以 googlebot.com 或 google.com 结尾,再用该域名正向解析回同一个 IP,两头对得上才算真。只查 PTR 会被伪造记录骗过,虽然少见,但确实有。

3.1 万条跑完,真 Googlebot 11,700 条,假 19,700 条,假的比例 62.7%,比预想的还高。假流量集中在 /api/price 和 /list 两类,一天 2,800 次,大半来自同一个 /16 段。

处理分两层。假 UA 在 Nginx 层按验证结果拉黑,用 map 指令加一个变量,验证过的 IP 打标,没标的限速 10 r/s。真 Googlebot 一个不动,误伤会直接掉收录。

脚本每天跑一次,结果写进日志,第二天据此生成 Nginx 的 include 文件。跑了两周,假流量从日均 2,800 降到 40,源站带宽峰值从 78 Mbps 降到 52 Mbps,抓取统计和日志的差值收窄到 300 次以内。

import socket, re
def is_googlebot(ip):
    try:
        host = socket.gethostbyaddr(ip)[0]
    except Exception:
        return False
    if not re.search(r"\.(googlebot|google)\.com$", host):
        return False
    return socket.gethostbyname(host) == ip

您可以还会对下面的文章感兴趣: