IndexNow 推 800 条返回 202 为什么零抓取:key 文件放哪层

把 800 条新 URL 打包推给 IndexNow,接口返回 202,我以为成了。三天后 Bing 站长工具里「已提交网址」还是 0,日志里 bingbot 一次没来。

第一反应是 JSON 格式不对。用单条 URL 重推,还是 202。202 只代表请求已接收,不代表通过校验,接口不会告诉你 key 文件抓不到。

翻文档才注意到 keyLocation。key 文件必须能从公网直接访问,内容就是 key 本身,一行,不能带别的东西。我们把 key 放在了 /static/seo/ 目录,keyLocation 写的地址是对的,但 robots.txt 里 Disallow: /static 把整目录挡了。蜘蛛拿不到 key,整批 URL 就当无效。

先把 key 文件挪到站点根目录,文件名 8f3c2a1d9e.txt,内容只有那 10 个字符。robots.txt 加了一行 Allow: /8f3c2a1d9e.txt,放在 Disallow 之前。这个顺序在部分爬虫里不生效,干脆把 /static 的 Disallow 改成只挡图片目录。

改完先手动访问一次 keyLocation,确认返回 200 且 Content-Type 是 text/plain。48 小时后日志里 bingbot 抓了 key 文件 6 次,第 4 天开始抓正文页,一周内 800 条里有 610 条被访问。

确认口径不看接口返回码,看两处:站长工具的已提交数量,和日志里 bingbot 对目标 URL 的状态码分布。610 条里 200 占 96%,其余是 301 到新路径,属于正常。

后来把这套检查写成推送前的自检:key 文件能否 200、内容是否等于 key、robots 是否放行,三项任一失败就不发请求。省得又拿 202 当成功。

import requests

url = "https://api.indexnow.org/indexnow"
data = {"host": "idc.00645.com",
        "key": "8f3c2a1d9e",
        "keyLocation": "https://idc.00645.com/8f3c2a1d9e.txt",
        "urlList": ["https://idc.00645.com/a.html"]}
r = requests.post(url, json=data, timeout=10)
print(r.status_code, r.text)

您可以还会对下面的文章感兴趣: