新站 8,000 条商品,想用 Indexing API 加速收录。脚本一次提交 500 条,第 201 条开始返回 429,body 里写着 RESOURCE_EXHAUSTED,quota metric 是 IndexingApiRequestsPerProjectPerDay,limit 200。
第一反应是并发太高。把并发降到 1,每条间隔 1 秒,跑到第 201 条照样 429。这时候才认真看配额那一行,确实是每天 200 条,和速率无关。
试过换 service account,也试了新建一个项目重新验证。前者配额按项目算,换账号没用;后者在提交不属于该项目验证站点的 URL 时返回 403 PERMISSION_DENIED。绕配额这条路走不通,也不该走。
还要说清一件事,官方文档写明这个接口只保证 JobPosting 和 BROAdCAStEvent 两类内容被抓取,普通商品页属于借用,推了也不保证收。知道这点之后,策略从「全量推」改成「把 200 条用在最值的地方」。
排优先级:P0 是 800 条已经有搜索展现的词对应的页面,P1 是 2,400 条上架七天内的新品,P2 是剩下 4,800 条。每天 200 条只给 P0 和 P1,按队列先进先出,推过的写进记录表,第二天跳过。
urls = queue.take(200)
for u in urls:
try:
api.publish(u)
log[u] = time.time()
except QuotaExceeded:
break
P2 交给 sitemap,每六小时更新一次 lastmod,只改真正变过的页面。之前为了催收录把全站 lastmod 刷成当天,结果被抓取工具判定无效,抓取频次反而掉了三成,这个坑别再踩。
确认跑三周:P0 的 800 条收录 690 条,86%;P1 收录 1,100 条,46%;P2 靠 sitemap 收了 1,900 条。合计 3,690 条,比之前无脑推 200 条(全落在随机 URL 上,三周收录 1,500 条)快一倍多。日志里配额用量每天稳定在 200,没有再出现 429。
