四台 PHP-FPM 机器挂同一个 NFS 存业务日志,格式是时间戳加 worker id 加一行 JSON。抽查 200 行,有 7 行前半截是一个请求的内容,后半截接着另一个请求,JSON 解析直接失败,下游统计少了三天的数据。
写日志的代码是 fopen('a+') 拿到句柄,flock 加排他锁,fwrite 一次写入,然后解锁。单机上跑了五千次并发没复现,换到 NFS 上,两台机器同时压,十分钟就出问题。
先确认锁到底有没有生效。客户端 /proc/locks 里能看到锁记录,服务端那台机器上一条都没有,rpc.statd 根本没起。NFSv3 的锁要靠 NLM 协议,服务端没有锁守护进程,客户端的 flock 就变成本地独角戏:每台机器都以为自己拿到了锁。代码里写的是 if (!flock($fp, LOCK_EX)) { return false; },实际偶尔会返回 false,errno 37,No locks available,但这条分支只记了个 debug 日志,主流程照写不误。
试过循环重试三次加 LOCK_NB,能减少失败次数,跨主机的互斥还是不存在。试过把锁文件单独放本地 /dev/shm,同机并发解决了,四台机器之间照样串。
最后的方案分两层:日志改成每台机器写自己的文件,文件名带主机名,收集端按文件归集,彻底不需要跨机锁;同一台机器内部用 /dev/shm 下的锁文件串行化写入,并且一次 fwrite 写完整行,不拆成多次。
$fp = fopen('/dev/shm/app.lock', 'c');
flock($fp, LOCK_EX);
$fh = fopen($logfile, 'a');
fwrite($fh, $line . "
");
fflush($fh);
fclose($fh);
flock($fp, LOCK_UN);
验证用 20 个并发进程各写 200 行,跑完 wc -l 必须等于 4000,再用正则逐行校验每行是不是合法 JSON,一条不合法就算失败。四台机器同时跑,结果一致。
如果一定要共享一个文件,得把挂载参数换成 nfsvers=4.1 并确保服务端 rpc.statd 正常运行,这一步我们没做,因为按机分文件更省事。
