季度演练,把上周的全量备份恢复到一台空实例,再回放 binlog 到故障前一刻。mysqlbinlog 跑到一半停了,报 ERROR 1236 (HY000) at offset 194: Could not find first log file name in binary log index file。DBA 说指定的那个 binlog 文件已经被 PURGE 掉了。
翻备份脚本,mysqldump 只写了 --single-transaction --quick,没带 --master-data,备份开始时对应的 binlog 位点根本没记。恢复脚本靠文件修改时间估了个起点,估早了会重复执行,估晚了就丢数据。这次撞 1236 是因为写死的 mysql-bin.000187 早就过期删除了。
改法分两头。备份这边加 --master-data=2 --flush-logs,dump 文件里会多一行 CHANGE MASTER TO 和 POSITION,解析出来就是精确起点。binlog 保留从 7 天改成 14 天,binlog_expire_logs_seconds 设 1209600,别再用已废弃的 expire_logs_days。
恢复这边别再靠时间猜。先建空库导入全量,记下当前位点,再把 binlog 按文件顺序 pipe 给 mysql。位点统一写成文件名加 position,不用 GTID,跨实例的 GTID 容易撞,处理起来更麻烦。
mysqldump -uroot -p --single-transaction --quick \
--master-data=2 --flush-logs --databases shop \
> /backup/shop_20261107.sql
grep "CHANGE MASTER" /backup/shop_20261107.sql | head -1
mysql -uroot -p shop < /backup/shop_20261107.sql
mysqlbinlog --start-position=154 --stop-position=90211 \
/var/lib/mysql/mysql-bin.000188 | mysql -uroot -p shop
演练还翻过一次车:stop-datetime 写成了 UTC,实际差 8 小时,回放多了三小时的数据,订单表比源库多出 400 多行。现在脚本里统一用 stop-position,时间只在人工核对时看,不参与计算。
验证不是看命令退出码。恢复完跑 CHECKSUM TABLE 对比核心的几张表,再看 AUTO_INCREMENT 和源库差多少。上周三预发那次 checksum 对上了,但订单号序列差 17,是回放期间有测试写入,这种要在演练窗口把业务写流量掐掉。
