2 亿条数据去重内存放不下 布隆过滤器 1.5% 误判怎么定 陆零云 2026-11-09 20:47:23 35 0 爬虫队列要去重,历史 URL 加起来 2 亿条。机器 24G 内存,但同一台上还有数据库和几个服务,实际能给 8G。最开始用 Python set 存字符串,跑到 6000 万条就被 OOM killer 干掉,RSS 到 19G。每条 URL 平均 78 字节,加上 set 的哈希表和字符串对象头,一条实际要 300 多字节,2 亿条根本装不下。 换成布隆过滤器。误判率 p 和位数组的关系是 m = -n ln p / (ln 2)^2,n 取 2 亿,...