陆零云
35
0
爬虫队列要去重,历史 URL 加起来 2 亿条。机器 24G 内存,但同一台上还有数据库和几个服务,实际能给 8G。最开始用 Python set 存字符串,跑到 6000 万条就被 OOM killer 干掉,RSS 到 19G。每条 URL 平均 78 字节,加上 set 的哈希表和字符串对象头,一条实际要 300 多字节,2 亿条根本装不下。
换成布隆过滤器。误判率 p 和位数组的关系是 m = -n ln p / (ln 2)^2,n 取 2 亿,...
陆零云
30
0
现象:CDN 开启但源站 CPU 100%
网站接入了 CDN 但某天源站 CPU 突然 100%,origin 日志里大量请求是带随机参数的爬虫 URL,CDN 根本没缓存过这些 key,直接回源导致 QPS 破万。这就是典型的缓存穿透——大量请求查不存在的 key,CDN 缓存命中率直接掉到 5%。
根因:所有不存在的 key 都回源
CDN 缓存穿透最常见的场景是:爬虫/攻击者大量请求带随机参数的 URL,CDN 缓存不到,全部回源打后端。正常缓存...