Go 1.22 把 defer 写进循环 文件句柄堆到 1000 个才报错

Go 1.22 写了个批量导入任务,循环 1000 个文件,每个 open 之后紧跟一句 defer f.Close()。跑到第 1020 个文件时报 too many open files,ulimit -n 是 1024,进程 RSS 也涨到了 800MB,前 1000 个文件全都还开着。

第一反应是 GC 没跑,手动调了 runtime.GC(),句柄数一点没降。defer 是函数返回时执行的,循环跑完函数还没返回,1000 个 defer 全挂在栈上,文件描述符一个都不会提前释放。

HTTP 那段是同一个毛病:循环里 defer resp.Body.Close(),连接池被占满,后面的请求全卡在 dial 上,报错信息变成了 connection reset,看起来像网络问题,实际是上一步没释放。

改法有两种,把循环体包成匿名函数,defer 跟着内部函数返回立刻执行;或者干脆显式 Close 并检查 error。这里选了闭包,改动最小,读起来也不别扭。

闭包写法要注意变量捕获,Go 1.22 之前 range 变量是复用的,闭包里直接引用循环变量会拿到最后一个文件,1.22 改了语义才敢这么写。另一个容易忽略的点是 defer 有开销,单次几十纳秒,百万级循环里堆 defer 还会让函数栈帧变大,压测时能看到 GC 频率上升。

确认口径:lsof -p 的 fd 数量稳定在 12 个,不随文件数增长;连续导 5 万个文件 RSS 平稳在 60MB;再跑一次 1000 并发 HTTP,TIME_WAIT 不再堆到六千。

for _, p := range paths {
    func() {
        f, err := os.Open(p)
        if err != nil {
            return
        }
        defer f.Close()
        parse(f)
    }()
}

您可以还会对下面的文章感兴趣: