去年一次周五发版,Nginx 配置少了个分号,reload 报错但没人看输出,命令返回非零被脚本忽略了。第二天早上首页 502,查了四十分钟才发现配置根本没生效,还是旧进程在跑。
这事之后整理了一份八项检查,固化进发布流水线。前四项在构建阶段跑,后四项在发布窗口跑,任何一项不过就不允许点发布。
先是配置语法。nginx -t 通过只是最低要求,还要 reload 完之后 curl 本机回环拿 200,确认新 worker 真的起来了。只 reload 不验证,等于没做。
数据库那一项,迁移脚本必须能回滚,执行前记录 binlog position 和备份文件名,DDL 和 DML 分开跑。上次就是 DDL 隐式提交,回滚脚本根本没用。
配置 diff 要逐行看,尤其是连接串和开关类配置。我们出过一次预发的 Redis 地址带到了生产,启动没报错,数据全写错库。
静态资源看文件名哈希、CDN 刷新清单和 index.html 的缓存头。少了这条,用户看到新页面配旧 JS,直接白屏。
后面几项在发布窗口做。健康检查要区分存活和就绪,就绪探针失败不能重启;日志级别确认不是 DEBUG;限流阈值和降级开关提前演练一次,确认能生效。
最后一项是回滚演练。发布前在预发环境真的回滚一次,记录耗时。我们要求五分钟内能回到上一版本,超过就说明流程有问题,先改流程再发。
nginx -t
curl -fsS http://127.0.0.1/healthz
mysql -N -e "SHOW MASTER STATUS"
git diff --stat v1.3.9..v1.4.0
脚本跑完打印每一项的结果,全绿才继续。以前靠人记,八项里总会漏一项,漏的那项往往就是出事的那项。
确认:这套清单跑了十二个月,发版导致的事故从每月两次降到零;两次真正的故障都是外部依赖,回滚在四分钟内完成。清单本身每季度复盘一次,加过两项也删过一项。
