GSC 的抓取统计里,一天 12 万次请求,返回 304 的是 0。也就是说蜘蛛每次来都完整下载一遍 HTML,平均 96KB,同一个页面一天被拉 3 到 5 次。
第一反应是抓得太频繁。在 robots.txt 里加 Crawl-delay 10,请求数掉到 8 万,304 还是 0,被访问的有效 URL 反而少了 4000 条。省下来的预算没花出去,等于白省。
查响应头。curl -I 打一个文章页,只有 Content-Type 和 Set-Cookie,没有 ETag,也没有 Last-Modified。PHP 动态输出的页面默认都不带,CDN 那边又配了 no-store,两头都没有协商缓存的依据。
试过直接加 Expires 30 分钟,蜘蛛确实少来了,但用户看到的也是半小时前的页面,评论数和库存都不对。动态页走强缓存这条路不成立。
换成条件请求。ETag 用文章 id 加更新时间算 md5,Last-Modified 用 updated_at 转 GMT,两个都输出。请求头带 If-None-Match 且对得上,就返回 304 直接退出。
$etag = '"' . md5($post['id'] . $post['updated_at']) . '"';
header('ETag: ' . $etag);
$lm = gmdate('D, d M Y H:i:s', $ts) . ' GMT';
header('Last-Modified: ' . $lm);
if (($_SERVER['HTTP_IF_NONE_MATCH'] ?? '') === $etag) {
http_response_code(304);
exit;
}
改完一周,304 占比 71%,平均下载字节从 96KB 降到 1.2KB。同样的抓取次数下,被访问的 URL 从 5.2 万涨到 7.1 万,省下的带宽换成了更多的页。
有个细节:ETag 里不能带 inode 或进程号,否则每次请求都变,304 永远不成立。最早的版本用了 md5_file,发版时 rSYNc 改了 mtime,全部失效,第二天才看出来。
还有登录态页面要走 no-store,不能给 304。两类页面用同一个入口时,按 Cookie 是否存在分流,否则用户刷新会看到别人的评论输入框。
