nohup 跑 Python 3.11 脚本 print 日志一直为空 缓冲该关哪一层

Python 3.11 写的数据同步脚本,本地跑日志一行一行往外冒,放到服务器上 nohup python SYNc.py & 之后,tail -f 半小时什么都没有。kill 掉进程的瞬间,两千多行日志一次性刷进文件,时间戳全挤在退出那一刻。

第一反应是 print 被重定向丢了,查了 lsof 确认 fd 1 指向 sync.log。真正的原因是缓冲:stdout 接终端时是行缓冲,接文件或管道时切成全缓冲,默认 8KB 一块,脚本输出慢,攒不满就不落盘,看起来像根本没跑。

试过每个 print 加 flush=True,能落盘了,但 1200 条每秒的写入变成 1200 次 write 调用,脚本整体慢了 18%,跑到凌晨还没结束。也试过 sys.stdout.reconfigure(line_buffering=True),效果一样,只是写法干净一些。

最后改成 python -u 启动,stdout 不缓冲,同时把日志换成 logging 加 FileHandler。logging 自己管缓冲和轮转,还能按级别过滤,比 print 适合常驻任务。注意 -u 只影响 Python 自己的缓冲,管道下游比如 tee 还有一层,要用 stdbuf 一起改。

另一个坑是异常栈,脚本里 catch 住异常只打了 print,缓冲状态下崩溃时这段也没了。改成 logging.exception 之后,栈和上下文一起进文件,第二天排查不用再去翻终端滚动。

确认口径:启动后 2 秒内 tail 能看到第一行;压 10 万条任务,吞吐从 1200 条每秒降到 1180,几乎无损;人为 kill -9,文件里最后一行时间戳和进程退出时间差不到 1 秒。

logging.basicConfig(
    filename="sync.log", level=logging.INFO,
    format="%(asctime)s %(levelname)s %(message)s")

您可以还会对下面的文章感兴趣: