三月给 1,400 条筛选结果页加了 meta name=robots content=noindex,想把这些组合参数页从索引里清出去。七月看 GSC 的覆盖率报告,这批 URL 还在「已编入索引」里,状态没动过。
第一反应是模板没生效。挑一条 URL 用浏览器无痕打开,查看源代码,noindex 明明在 head 里。又换了台机器、换了个网络,还是能看到。这时候我判断线上是对的,是 GSC 没更新。
真正的问题在命令行请求上。curl 同一条 URL,响应头里 X-Cache 写着 HIT,Age 是 604800。CDN 把 HTML 缓存了七天,缓存的是改版前那一份。浏览器无痕命中的是另一个边缘节点,恰好是新的,才让我误判。
更麻烦的是回源。源站给 HTML 的响应头里写了 Cache-Control: public, max-age=604800,这是两年前为了扛流量加的。CDN 只是照着执行,责任在源站。
先改源站:HTML 一律 s-maxage=60, stale-while-revalidate=30,静态资源保持长缓存不动。再清 CDN。控制台的「刷新全部」只对目录生效,1,400 条具体 URL 得走 API,单次上限 100 条,脚本没限速,第三批就返回 429。
for i in $(seq 0 20 1400); do
sed -n "${i},$((i+20))p" urls.txt > b.txt
cat b.txt | xargs -I{} curl -s "https://cdn.api/p/{}"
sleep 1
done
限速之后 14 批跑完,用了四分钟。第三步是抽查,写个循环把每条 URL 的 x-cache 和 meta robots 打出来,只看前 200 条,发现还有 17 条是 HIT,都是问号后参数顺序不同,等于另一份缓存键。
确认口径:200 条抽查里 x-cache 全为 MISS 且带 noindex;GSC 那边从「已编入索引」转到「已排除:noindex」花了 11 天,1,400 条里剩 60 条,点开是有 301 的,属于另一类问题。
