Go 1.22 写的上传服务,临时文件落在 /tmp,最终目录是挂载的数据盘 /data。os.Rename 返回 rename /tmp/upload/8f2a /data/files/8f2a: invalid cross-device link,上传接口 500。我第一反应是路径拼错了,把两边的绝对路径打出来,都是对的。
查了 stat 的 st_dev,两个目录的设备号不一样,才确认是跨文件系统。rename 只在同一个文件系统内是原子的,跨盘内核直接拒绝,跟权限和路径无关。之前本地测试目录都在同一块盘上,所以一直没复现。
试过先 copy 再删源,能跑通,但中间有个窗口,复制到一半进程被 kill,目标目录留下一个半截文件,前端拿到 200 但文件是坏的。这个方案在生产上不能接受。
改成临时文件直接写在目标盘的隐藏目录 .tmp 下,上传完成后 rename 到正式目录,同一个文件系统内保持原子。跨盘的那种场景单独走一条路径,先写 .part 文件,fSYNc 落盘,再 rename 成正式名,最后删源文件。
fsync 这一步不能省,只 rename 不刷盘,机器断电后目录项在、数据块没落,文件长度变成 0。Go 里要对文件调 Sync,再对父目录开一次,容器里父目录的 fsync 有时返回 EINVAL,得容错。
容器里还有一个特例,/tmp 和 /data 可能来自同一个 volume 的不同子路径,设备号相同,rename 又能用了,代码不能假设一定跨盘,直接尝试 rename,失败再降级到复制。清理 .part 文件的任务放在启动时跑,超过 24 小时的残留统一删掉,避免磁盘被半截文件占满。这条清理逻辑上线前漏了,跑了一周磁盘涨了 30G。临时目录也换了位置。这条分支压测时没走到,上线两周才被运维发现。
确认口径:500MB 文件上传成功,md5 和源文件一致;在复制过程中 kill -9,目标目录只看到 .part,没有正式文件;并发 100 个上传,没有出现 cross-device 报错。
tmp := filepath.Join(dstDir, ".tmp", name)
if err := os.Rename(tmp, dst); err != nil {
return fmt.Errorf("rename: %w", err)
} 