线上统计脚本跑在 Python 3.11.6 上,维护一个 120 万 key 的字典做调用计数,遍历时顺手把过期项 pop 掉,跑到第 7 分钟抛 RuntimeError: dictionary changed size during iteration,脚本直接退出,当小时的统计缺了一段。
改成 for k in list(d.keys()) 确实不报错了,内存立刻涨了 40MB,而且这层拷贝在 120 万 key 上每次遍历要 80 毫秒,脚本原本 6 分钟跑完变成 11 分钟,凌晨的窗口刚好卡住。
第二次报错更隐蔽:多线程里一个线程在 list() 拷贝,另一个线程 setdefault 新增 key,拷贝到一半照样抛同样的异常。快照只能防住当前线程的修改,防不住别的线程,堆栈里停在 dict_keys 的迭代器上。
最终拆成两步:遍历时只把过期 key 追加到 to_del 列表,循环结束后统一 del;写操作全部收敛到一个加锁的 helper,读多写少的场景用 threading.RLock 就够,没必要上更重的东西。
顺带确认了一个容易搞混的点,只改 value 不改 key 集合不算 size 变化,遍历时 d[k] = 新值不会报错,真正触发异常的是增删 key。另外删除动作最后统一做时,最好和写操作共用同一把锁,不然计数会短暂对不上。
确认口径:200 个线程压 30 分钟,异常计数 0;结束后 len(d) 与 Redis 里的计数总和一致;再用 sys.getsizeof 对比,峰值内存没有多出那份 40MB 拷贝。
to_del = []
for key, item in d.items():
if expired(item):
to_del.append(key)
for key in to_del:
del d[key] 