NFS 挂载点重启后上传报 errno 116 陈旧句柄怎么恢复

上传接口每小时报几次 500,日志原文是 PHP Warning: fopen(/mnt/upload/2026/11/a3f9.jpg): Stale file handle,errno 116。用户点重试基本都能成功,所以一直没被当回事。

先怀疑客户端。df -h 看磁盘没满,df -i 看 inode 用了 12%,php-fpm 的进程数也正常。重启 php-fpm 之后安静了 20 分钟,又冒出来。这种重启就好、过一会又坏的现象,一般不是代码问题。

dmesg 里翻到 nfs: server 10.0.3.21 not responding, still trying。存储端前一天做过扩容,服务重启过。NFS 服务端换了文件句柄,客户端手里缓存的旧句柄全部失效,访问就返回 ESTALE。

第一版处理是 umount 重挂。umount /mnt/upload 直接报 device is busy,加了 -l 做延迟卸载,挂是挂回来了,但正在写的请求全部失败,那次丢了 6 个文件,比原来更糟。

挂载参数从 vers=3 换成 vers=4.1,加了 hard,intr,timeo=600。soft 能让卡住的调用返回,但会静默截断写入,我们不敢用。应用层加了捕获,errno 116 时重试一次,重新取句柄。

mount -t nfs -o vers=4.1,hard,intr 10.0.3.21:/data /mnt/upload
dmesg | grep -i 'nfs.*not responding'
lsof /mnt/upload | wc -l

后来干脆改了上传路径。文件先写本地 /data/tmp,写完再由归档任务复制到 NFS,NFS 只承担冷数据。上传接口的 P99 从 1.4 秒降到 320 毫秒,存储端抖动也不会直接打到用户身上。

验证是模拟存储端重启。systemctl restart nfs-server 期间打 500 个上传,失败 3 个,重试后全部成功,errno 116 的日志归零。

现在这条也有监控:每分钟 stat 一次挂载点下的探针文件,超过 3 秒没响应就告警。上次存储端重启没有任何通知,全靠日志发现,反应慢了半天。

您可以还会对下面的文章感兴趣: