陆零云
27
0
新版本灰度 5%,名单里 5000 个用户,上线后新版本日志一条都没有。监控上两个版本的 QPS 比例是 0 比 100。
分流代码是 if (crc32($uid) % 100 ˂ 5)。看着没问题,uid 是用户 ID,整型自增。抽样打日志,crc32 的结果全是偶数。
问题出在 PHP 的 crc32 返回值。32 位平台上它是带符号整数,负数取模在 PHP 里结果也是负的;64 位返回无符号,可我们又在前面套了一层 abs,分布早就不对了。
真正的...
陆零云
30
0
灰度开关打开十分钟,监控上 502 从每万次 3 个涨到 180 个。失败集中在带 gray=1 cookie 的请求上,没带 cookie 的老用户完全正常。
error.log 原文是 no resolver defined to resolve new。这句说明 nginx 把 new 当成域名去解析,而不是当成 upstream 名字。
配置里 map 把 $cookie_gray 映射到 new,upstream 块定义的却是 new_v2。变量...
陆零云
43
0
灰度发布按用户分流,网关里写的是 uid 对 100 取模小于 10,期望 10% 的用户进新版本。上线当天客服收到十几条反馈,页面一会儿新一会儿旧,刷新一次就变。
先看网关日志,同一个 uid 相邻两次请求落在不同版本。取模的输入是 uid,值本身不会变,除非取模之前 uid 是空的。
确实如此。灰度规则放在最外层,未登录用户没有 uid,取到空串,取模变成 0,全部命中灰度。登录之后 uid 有值,又落回旧版本。接口请求和静态资源请求走不同链路,一个带...
陆零云
31
0
灰度放量到 5% 那天下午,客服先炸了。老版本 App 2.8.1 的用户点开订单详情,弹「订单加载失败」,新版用户一切正常。抓包看返回 HTTP 400,body 里 code 是 PARAM_MISSING,提示 orderNo 不能为空。可老客户端传的一直是 orderNo。
v2 把入参改成了 order_no,返回里 status 也从数字 1、2 改成了字符串 PAID、UNPAID。开发在 v2 分支上顺手统一了命名,联调只测了新前端。灰度按...