站点是纯静态的,8000 个页面,全量生成一次 40 分钟。改一个页脚要等 40 分钟才能发,遇到紧急文案只能手工改 HTML,还改漏过两次。第一反应是加并发,8 个进程跑,降到 9 分钟,但 CPU 打满,同机的接口响应从 80 毫秒涨到 400 毫秒。
换成增量。每个页面生成时记录三样东西:模板 hash、数据版本、页面内容 md5,写进一张清单。下次构建只挑这三样有变化的页面重新渲染,其余直接跳过。
第一版增量漏了侧边栏。侧边栏有最新文章列表,数据变了但模板没变,页面没被选中,线上出现旧链接。这个 bug 三天后才被用户发现。
补法是给全局数据加一个版本号,任何全局数据变化就把版本号加一,所有页面视为失效。这样会退化成全量,但至少正确。再细一层,把侧边栏单独拆成片段,页面按片段版本判断,命中率才回来。
python build.py --changed-since .stamp --jobs 4
# 清单三项:模板 hash、数据版本、页面 md5
# 8000 页全量 38 分钟,日常增量 200 页 40 秒
现在的流程是,日常改动只重建 200 页左右,40 秒完成。模板改动会触发全量,但那种情况一周最多两次,放到凌晨跑。构建脚本会在结束时打印重建页数和耗时,数字不对就去查清单。
验证增量是否正确,我用了一个笨办法。全量构建一次,把 8000 个文件的 md5 存下来,再用增量构建同样的内容,逐个比对。第一轮比出 37 个不一致,全是侧边栏和分页,修完再比,零差异。
