图片上传接口开始报 500,日志是 java.io.IOException: No space left on device。df -h 看 /data 只用了 61%,还剩 200 多 G,第一反应是日志骗人。
再看 df -i,IUse% 是 100%,inode 用光了。上传目录里 120 万个小文件,平均 30KB 一个,空间没占多少,inode 先见底。这个分区建的时候没调 inode 比例,默认 1600 万,被缩略图和临时文件吃干净了。
第一招是删临时文件。rm -rf 目录下两天前的文件,两小时才删掉 8 万个,业务还在报错。小文件随机 IO,删起来比写还慢,这个速度等不起。
换成按目录整体挪走。把临时目录 mv 到同分区的 .trash 下,改名是元数据操作,几秒完成,业务立刻能写新文件。删除放到后台慢慢跑。
df -i /data
find /data/upload/tmp -type f -mtime +2 -delete
mv /data/upload/tmp /data/upload/tmp.old
mkdir -p /data/upload/tmp
find 那条命令要放在业务低峰跑,-delete 比管道给 xargs 少一次 fork,120 万个文件能快三成。跑的时候用 ionice 降优先级,别把磁盘打满影响上传。
长期改法有两个。临时文件按天分目录,cron 每天清三天前的,单个目录文件数控制在 5 万以内;缩略图全部挪到对象存储,本地只留原图索引。分区也重建了,inode 比例调到 1:1。
确认:df -i 从 100% 降到 43%,上传接口恢复 200;观察一周,inode 每天增长不到 0.3%;再压测 500 个并发上传,没有出现写入失败。
监控也补了。之前只盯磁盘使用率,现在加一条 inode 超过 80% 就告警。这类故障不看 df -i 根本发现不了。
