用 rm 删 80 万个文件报错 Argument list too long 该怎么分批

日志目录攒了 82 万个 access 文件,直接敲 rm -f *.log,回一行 bash: /bin/rm: Argument list too long,一个文件都没删掉。星号是 bash 展开的,82 万个文件名拼成一条 2.3MB 的参数,内核的 ARG_MAX 是 2MB,装不下。

第一反应是分批,按字母前缀拆成 26 组,删到一半发现还有按日期命名的子目录,前缀拆不干净。也试过 rm -rf logs 整个目录重建,结果把当天正在写的文件一起干掉,日志断了 6 小时,被运维追着问。

find -delete 能用,82 万个文件跑了 41 分钟,期间 iowait 冲到 70%,同机的 MySQL 跟着抖。删完 df -h 显示空间没变,因为文件还被写日志的进程持有,得等句柄关闭才真正释放。

换 xargs 分批,先把列表落到一个临时文件,再按 500 个一批、4 个并发去删,6 分 20 秒完成。并发别开太大,删元数据是串行写日志,4 路已经够,开到 16 路反而更慢。

要确认真的删干净,得看两个数。du 只算大小,82 万个 0 字节小文件占的空间很小,但 inode 会被吃光,df -i 到 100% 时新文件根本写不进来,这种故障比磁盘满更难查。

这台机器后来把日志改成 logrotate 每天切、保留 7 天,单个目录文件数压在 5000 以内,再也没攒到需要分批删的量。规则加在轮转配置里,不用靠人记。

确认口径:find 计数从 820143 变成 0,df -i 使用率从 96% 回到 8%;再跑一次同样的 find 计数耗时 3 秒,说明目录真的空了,不是命令没执行。

find /data/logs -name '*.log' -print0 > /tmp/rmlist
xargs -0 -n 500 -P 4 rm -f < /tmp/rmlist
find /data/logs -name '*.log' | wc -l

您可以还会对下面的文章感兴趣: