备份脚本跑了小半年,Cron 每天三点执行,日志里永远一行 OK。直到误删了一张表要恢复,才发现最近 30 天的 dump 全是 20 字节的空 gzip。
原因是 mysqldump 连不上库,报 Access denied,但脚本写的是 mysqldump ... | gzip > $FILE。管道的退出码取最后一个命令,gzip 成功退出 0,set -e 完全没拦住,脚本继续往下走,还把日志写成成功。
加上 set -euo pipefail,当天晚上就暴露了:脚本三点钟退出,cron 发了一封邮件,但 MAILTO 没配,邮件全躺在 /var/mail/root 里没人看。这次改成失败单独写 fail.log,再用 curl 打一个 webhook,至少手机上能收到提醒。
光有退出码还不够。gzip -t 只能证明压缩流完整,证明不了里面有数据。我补了一步,dump 完起一个临时库把文件灌进去,比对 orders 表的行数和主库 count(*),差异超过 1% 就告警。这一步每周跑一次,放备机上,不占主库 IO。
set -euo pipefail
OUT=/backup/shop_$(date +%F).sql.gz
mysqldump --single-transaction --set-gtid-purged=OFF \
-h 10.0.1.5 -u backup -p"$PASS" shop | gzip > "$OUT"
test -s "$OUT"
gunzip -t "$OUT"
[ $(stat -c%s "$OUT") -gt 1000000 ] || exit 3
echo "$(stat -c%s "$OUT") $(date +%s)" >> /backup/size.log
磁盘水位也加了一道检查。之前有个分区写满,mysqldump 写到一半中断,gzip 把截断的内容压成了合法文件,退出码依然是 0。现在写之前先看剩余空间够不够预估大小的 1.5 倍,不够就退 4。
cron 环境也顺手修了。cron 里的 PATH 只有 /usr/bin:/bin,mysqldump 装在 /usr/local/mysql/bin,找不到时同样只留一行 command not found,退出码还是 0。脚本开头直接写死完整路径,不依赖 PATH。
脚本最后固定输出四个数字:文件字节数、表数量、最大表行数、耗时。这四个里任何一个为 0,早上打开邮箱就能看见。上个月 12 号那个 0 行,就是这么被发现的。
