Python 3.11 两个进程写同一日志行错乱 加锁还是临时文件怎么选

上周三日志平台报警,说 nginx 访问日志里有 0.7% 的行解析失败。原文件是两个采集进程同时写的,每个进程按批写入 200 到 300 字节的行,跑几分钟就出现半行连半行,像 2026-11-09T10:12:33 GET /api/v1/order 后面直接接了另一条的时间戳。

第一反应是 open(path, 'a') 不是原子的吗。append 模式确实让每次 write 落在文件末尾,但 Python 默认缓冲 8KB,几次 write 会攒在缓冲区里,刷盘的时机由解释器决定。两个进程各刷一次,中间就夹进去了。我在每行后加了 f.flush(),一百多万行里仍有 12 行坏的,只是概率低了。

然后上 flock。Linux 上 fcntl.flock 对同机两个进程有效,锁的是 inode 不是路径。日志轮转把文件 rename 走以后,新进程锁的是新 inode,两边根本锁不到一起。这一点第二周轮转上线时才踩到,又出了一批错行。

import fcntl

def append_line(path, line):
    with open(path, 'a', encoding='utf-8') as f:
        fcntl.flock(f.fileno(), fcntl.LOCK_EX)
        try:
            f.write(line + '\n')
            f.flush()
        finally:
            fcntl.flock(f.fileno(), fcntl.LOCK_UN)

加锁之后吞吐从每秒 18 万行掉到 11 万行,还能接受。真正稳的做法是换思路:每个进程写自己的文件,名字带 pid 后缀,采集端按文件读。不需要跨进程锁,吞吐回到 19 万行,轮转也不会互相影响。

如果是整份文件覆盖写,比如配置或者导出结果,别加锁。同目录下写临时文件再 os.replace,rename 在同一个文件系统里是原子的,读的一方要么看到旧文件要么看到新文件,不会读到一半。

import os, tempfile

def rewrite(path, data):
    d = os.path.dirname(os.path.abspath(path))
    fd, tmp = tempfile.mkstemp(dir=d)
    with os.fdopen(fd, 'w', encoding='utf-8') as f:
        f.write(data)
        f.flush()
        os.fsync(f.fileno())
    os.replace(tmp, path)

现在的选择标准很干脆:追加型日志按进程分文件;必须共享一个追加文件时才用 flock,锁要在 open 之后一直持有到 close;整文件替换一律临时文件加 rename。临时文件必须和目标同目录,跨分区 rename 会退化成拷贝,那就不原子了。

您可以还会对下面的文章感兴趣: