回滚旧版本后 Redis 缓存报 500 新结构反序列化怎么隔离

陆零云 33 0
2.3.0 上线 40 分钟发现下单会算错优惠,决定回滚到 2.2.4。回滚完成后 500 比例冲到 38%,日志里全是 java.lang.ClassCastException: java.util.ArrayList cannot be cast to com.shop.CartItem。 2.3.0 把购物车缓存的 value 从对象改成了数组,key 还是 cart:用户ID。回滚只是换了镜像,Redis 里躺着 4.2 万个新结构的 key,旧代...

CDN 缓存了带 Set-Cookie 的登录页 200 个用户串号 怎么止

陆零云 31 0
客服转来一张截图,A 用户登录后右上角显示的是 B 用户的手机号。上午 10 点到 10 点半之间,前后三个人反馈同样的问题。 先按会话串号查。access.log 里这几条请求的 Cookie 值完全一样,PHPSESSID 都是 f3a9 开头那一串。不同用户拿到同一个 session id,说明 Cookie 不是各自下发的,是从同一份响应里复用的。 查 CDN 缓存。curl -I 请求 /login?redirect=%2Fuser%2Forde...

GitLab CI 缓存 key 写错 每次重装依赖多花 220 秒

陆零云 29 0
流水线里 install 这一步稳定 3 分 40 秒,缓存从来没命中过。日志里一行 WARNING: file does not exist,接着就是 npm ci 全量下载。 cache 段是这么写的:key 用了 $CI_COMMIT_SHA。每次提交哈希都变,等于每次新建一份缓存,旧的一直占着空间。 改成 $CI_COMMIT_REF_SLUG 之后命中了一部分,换分支还是重装。十几个人各自推分支,缓存散成二十多份,谁也不沾谁的光。 真正的问题在...

Redis Cluster 报 MOVED 3999 跨槽 批量命令怎么拆才不报错

陆零云 32 0
批量购物车接口上线第二天,日志里开始刷 MOVED 3999 10.0.3.12:6379。接口一次 MGET 取 20 个 key,PHP 端用的 phpredis 集群模式,按理说该自动跟随重定向,实际直接抛异常,购物车列表整块 500。 第一反应是槽位没分完。redis-cli --cluster check 跑一遍,16384 个槽全在,三个主节点各 5461 上下,没有空槽。集群状态正常,问题在这 20 个 key 本身。 用 cluster k...

lru_cache 不设上限 | 常驻内存涨到 2.4 GB 怎么收回

陆零云 35 0
容器里跑了三天,Pod 被 OOMKilled,限制是 2Gi,重启前 RSS 已经到 2.4G。翻代码发现解析函数挂着 @lru_cache(maxsize=None),key 是一个带 trace_id 的路径参数,一天几十万条,缓存只增不减。 第一反应是内存碎片,加了 gc.collect() 又调了 malloc_trim,RSS 一点没降。用 tracemalloc 打两份快照对比,前三位全是 functools 里的 dict entry,这才...

Redis 淘汰策略配错 触发 OOM:热 key 全没了怎么改

陆零云 32 0
Redis 内存到 4GB 上限那天,缓存命中率从 96% 掉到 41%,数据库 QPS 从 800 冲到 6000,半小时后接口大面积 500。 配置是 maxmemory 4GB,maxmemory-policy allkeys-lru。这个策略在内存满时不看用途,所有 key 一起挑。而这个实例上同时存了缓存、分布式锁和延迟队列。 锁被淘汰的后果最直接。两个进程同时拿到锁,重复扣了一次库存。队列的 key 被删,几十条待处理任务直接丢,只能从业务日志...

Service Worker 缓存了 404 页面 更新后一直白屏怎么清

陆零云 40 0
发版后有 3% 的用户一直看到旧页面,强制刷新才好。查下来是 Service Worker 把 404 响应也缓存了,接口报错那次请求被存进 cache,之后每次命中都返回 404。 SW 的 fetch 事件里写的是 cache-first,先 caches.match,命中就直接返回,没看 response.ok。后端某次发布把接口路径改了 20 分钟,这 20 分钟的请求全写进了缓存。 和 HTTP 缓存打架的地方在版本号。Cache-Control...

dig 结果和公共 DNS 对不上:劫持还是缓存怎么分清

陆零云 38 0
运维群里丢了两个 dig 结果,同一个域名,本地递归返回 203.0.113.45,8.8.8.8 返回 198.51.100.7。第一反应是劫持,但劫持一般不会这么规整。 先把三个来源摆一起:本地递归、公共 DNS、权威 NS。 dig +short @8.8.8.8 www.example.com 198.51.100.7 dig +short @203.0.113.53 www.example.com 203.0.113.45 dig +trace...

npm 10.8 报 EINTEGRITY 校验失败 缓存损坏怎么清才管用

陆零云 40 0
现象 npm install 突然报 EINTEGRITY: sha512 校验失败,删掉 node_modules 和 lock 文件重装还是同一段哈希报错,换网络、换 Node 版本都没用,换一台机器就完全正常。 原因 npm 的本地缓存里存着包的压缩包和索引,下载中断、磁盘写满或旧版本 npm 的并发写入都可能让缓存内容与索引不一致。安装时按索引去校验缓存文件,哈希对不上就抛 EINTEGRITY,而且默认不会自动修复。 解决步骤 第一步,先校验再清...

PHP 8.2 线上开了 opcache 改代码不生效怎么排查缓存

陆零云 33 0
现象 线上 PHP 8.2 项目更新了一个控制器,页面刷新多次仍是旧逻辑,日志里也没有新加的调试输出。重启 php-fpm 后立刻正常,过一段时间再次发布又复现。opcache_get_status 显示缓存命中率很高,但脚本时间戳没有变化。 原因 OPcache 把编译后的字节码放在共享内存里,是否检查源文件变化由 validate_timestamps 控制。该值为 0 时只在进程启动时编译一次,之后完全不看文件时间;revalidate_freq 设...