PHP 8.3 互斥锁 10 秒到期 2000 QPS 又打穿缓存怎么补

陆零云 11 0
大促前压测,商品详情接口 2000 QPS,缓存到期那一下数据库 CPU 直接打满,慢查询堆到 400 条。缓存是 10 分钟过期,热点 key 就那几个。 第一反应是没做互斥。代码里确实有 setnx,锁 10 秒过期,拿到锁的进程去重建缓存。问题是重建要 12 秒,锁先过期了,第二波请求又拿到锁,数据库上同时有十几个重建任务。 试过把锁的 TTL 加到 30 秒,重建期间不会重复,但持锁进程一旦异常退出,锁要占满 30 秒,这期间所有请求都拿不到数据,...

刷新令牌并发 5 个请求 4 个报 401 轮换加锁怎么改

陆零云 25 0
App 冷启动会同时发 5 个接口请求,token 过期的时候 5 个请求一起回来刷新,结果 4 个报 401。用户看到的就是一进首页弹登录框。 刷新接口用的是一次性令牌,用过的 refresh_token 立刻作废。第一个请求换到新令牌,后面 4 个拿着旧令牌来换,全被服务端拒掉。 第一反应是在客户端加锁,让 5 个请求排队。改完安卓好了,iOS 还有零星 401,因为那边的网络库会自己重试,重试绕在锁外面。 换成服务端兜底更稳。旧令牌用掉之后,把旧 j...

回滚旧版本后 Redis 缓存报 500 新结构反序列化怎么隔离

陆零云 33 0
2.3.0 上线 40 分钟发现下单会算错优惠,决定回滚到 2.2.4。回滚完成后 500 比例冲到 38%,日志里全是 java.lang.ClassCastException: java.util.ArrayList cannot be cast to com.shop.CartItem。 2.3.0 把购物车缓存的 value 从对象改成了数组,key 还是 cart:用户ID。回滚只是换了镜像,Redis 里躺着 4.2 万个新结构的 key,旧代...

WebSocket 多实例广播 2000 连接只收到 900 个 Redis 怎么补

陆零云 25 0
聊天室扩到 4 个 Pod 之后,用户反馈消息时有时无。压测时 2000 个连接发一条广播,只有 900 个客户端收到,剩下的没有任何报错,就是收不到。 第一反应是客户端断线。抓包看没收到消息的连接都还活着,心跳正常,只是不在同一个实例上。每个实例只在本地内存里维护了自己那 500 个连接,广播时只遍历本地 map,别的实例上的用户自然收不到。 试过让入口把消息转发给所有实例,每个实例都推一遍。能收到,但同一用户如果重连过、在两个实例上都有残留连接,就会收...

PHP 8.3 把 session 存进 Redis 后 TTL 一直是 -1 怎么补过期

陆零云 29 0
客服说有个用户三天前点了退出,刷新页面又自动登录了。我先去看 session 存储,去年把 save_handler 换成了 redis,本地 /var/lib/php/sessions 早就不写了。 redis-cli 里 keys 'PHPREDIS_SESSION:*' 有 180 万个键,随便挑一个 TTL 是 -1,也就是永不过期。php.ini 里 session.gc_maxlifetime 写的是 0,当时的想法是会话不自动回收,反正有退出...

更新数据库后删缓存 200 ms 旧值又写回来 双删怎么排

陆零云 27 0
商品改价后先更新 MySQL 再删 Redis,正常情况下没问题。有一次运营改价,前台过了 10 分钟还是旧价,日志里删缓存之后 200ms,旧值又被一个读请求写了回去。 链路是这样的:读请求在改价前查了库,拿到旧值,网络抖了一下,等删缓存执行完才把旧值写进 Redis。这个窗口不长,但确实存在。 第一反应是把删除放到更新后 500ms 再执行一次,延迟双删。旧值确实被删掉,但第二次删除时如果还有更慢的读请求,同样会写回,治标不治本。 换成订阅 binlo...

开放接口 timestamp 差 300 秒报 401 重放窗口到底设多长

陆零云 30 0
合作方反馈开放接口偶发 401,错误码 invalid timestamp。我们自己用脚本调一百次一次不复现,只有他们那边出现,集中在上午十点和下午三点。 第一反应是对方服务器时钟不准。让他们装 chrony,回话说已经开了。抓了一次失败请求,timestamp 和我们的服务器时间差 287 秒,正好压在我设的 300 秒窗口边缘。 网络延迟和时钟漂移叠加,边界就会破。试着把窗口放宽到 600 秒,问题少了,但安全那边不同意,说 10 分钟足够重放。这个方...

apcu 存 5000 条在 CLI 与 FPM 命中率差 80% 共享内存怎么分

陆零云 30 0
城市和行业字典一共 5000 条,每次请求都要查一次库,想用 APCu 预热把它省掉。写了个 CLI 脚本循环 apcu_store,跑完输出 stored 5000,页面上 apcu_fetch 却全部返回 false,命中率 0。 第一反应是键名拼错,把键 md5 之后两边打印出来比对,一模一样。又在 CLI 里 apcu_exists 同一个键,返回 true。同一台机器、同一份 php.ini,结论却相反。 php --ri apcu 显示 apc...

Redis 删一个 200MB 的大 key 卡 4 秒 怎么异步清

陆零云 28 0
运营的实时榜单存在一个 zset 里,1200 万个成员,占用 200MB。活动结束要清理,运维直接执行 DEL,Redis 主线程卡了 4 秒,这四秒里所有接口超时,网关返回了 300 多个 502。 第一反应是换成 UNLINK。它把 key 从主线程摘掉,内存交给后台线程慢慢释放,看起来正好对症。实测释放 200MB 用了 1.8 秒,主线程只阻塞 12 毫秒,接口没有再超时。 但 UNLINK 不是万能的。这个实例开了 AOF,删大 key 会往...

Redis 6.2 里 12MB 的 hash 用 hGetAll 取回总超时 怎么拆开换 hScan

陆零云 30 0
商品详情接口 p99 冲到 2.8 秒,慢查询日志指向 Redis。redis-cli --latency 只有 0.2ms,网络没问题。slowlog get 10 里一条 hgetall 花了 620ms,key 是 sku:detail:8801。 这个 key 存了整个 SPU 下 800 多个 SKU 的规格、价格、库存,序列化后 12MB。每次详情页都 hGetAll 全取,再在 PHP 里按 sku_id 找自己那条。 我先调大 read_t...