网关 1200 个请求后回 GOAWAY | 长连接全重建怎么调

陆零云 29 0
网关日志里每隔四十秒出现一批连接重建,TLS 握手的 QPS 从 300 冲到 2600。前端没报错,但首屏 P99 从 90 毫秒涨到 210 毫秒,用户能感觉到一顿。 第一反应是客户端连接池太小。把池子从 50 调到 200,握手峰值一点没降,反而更高,不是池子的问题。 抓 HTTP/2 的帧。连接传完第 1200 个请求之后收到一个 GOAWAY,last_stream_id 正好是最后一个完成的流。客户端实现没处理这个帧,直接把整条连接扔掉重建。...

iOS 报证书链不完整 中间证书没下发 TLS 1.3 怎么补

陆零云 31 0
换证书那天下午,安卓 7 的机器打不开站点,微信里提示证书无效。同一台电脑用 Chrome 访问正常,地址栏的锁是绿的。客服统计了一下,受影响的基本是 2017 年前后的手机。 第一反应是证书过期。openssl x509 -in cert.pem -noout -dates 看有效期还剩 218 天,签发者和 SAN 都正常。时间没问题。 翻 nginx 配置,ssl_certificate 指向 /etc/ssl/fullchain.pem。文件名带着...

TLS 会话票据每小时轮换 复用率掉到 12.3% | 多机 key 怎么同步

陆零云 28 0
回源流量上来以后,八台 nginx 的 CPU 有一半花在 TLS 握手上。会话复用开了,ssl_session_cache 也配了,实测复用率只有 12.3%,等于没开。 我第一反应是客户端不支持。用 openssl 手动连两次,第二次确实复用了,说明协议层没问题。那问题就在服务端这八台机器之间。 翻配置发现每台只写了 ssl_session_ticket_key 的路径,文件却是各机器自己 openssl rand 生成的,内容完全不一样。前面挂的四层...

TLS 1.3 开 0-RTT 支付回调重放 87 次 怎么确认要不要关

陆零云 30 0
为了让移动端首包快一点,把 nginx 升到 1.25,开了 TLS 1.3 的 0-RTT,ssl_early_data on。上线第三天,支付回调里出现 87 条重复的 request_id,金额和订单号都一样,对方说只发了一次。 第一反应是对方重试,把他们的发送日志要过来,同一个 request_id 只有一条,时间戳还比我们记录的第一次晚 300 毫秒。抓包看到两次请求的 ClientHello 都带了 early_data 扩展,第二次是拿缓存的...

OCSP stapling 解析超时 握手多等 300 毫秒怎么查

陆零云 33 0
新机房的 HTTPS 首包比老机房慢 300 毫秒,同一个证书、同一份配置。curl 分段看,TCP 连接 12 毫秒,TLS 握手 380 毫秒,老机房只有 80 毫秒。 第一反应是证书链。openssl s_client 看了下,链是三层,没有多余的中级证书,和老机房一样。 再看握手细节。带 -status 参数请求 OCSP,服务端返回 no response sent,说明 stapling 没生效。客户端只能自己去查 OCSP,查不到就等超时,这...

Nginx 的 add_header 子目录全丢 X-Frame-Options 为什么不生效

陆零云 29 0
安全扫描报告出来,37 个 URL 缺 X-Frame-Options,全集中在 /shop/ 和 /api/ 两个前缀下。首页和文章页都有头,curl -I 能看到的差异只有路径。 第一反应是漏配。翻 /etc/nginx/conf.d/site.conf,server 块里明明有一行 add_header X-Frame-Options SAMEORIGIN always,写了两年前,没人动过。 把 /shop/ 的 location 贴出来对比,里面...

Nginx map 分流配错 灰度用户报 502:旧版怎么兜底

陆零云 30 0
灰度开关打开十分钟,监控上 502 从每万次 3 个涨到 180 个。失败集中在带 gray=1 cookie 的请求上,没带 cookie 的老用户完全正常。 error.log 原文是 no resolver defined to resolve new。这句说明 nginx 把 new 当成域名去解析,而不是当成 upstream 名字。 配置里 map 把 $cookie_gray 映射到 new,upstream 块定义的却是 new_v2。变量...

SO_REUSEPORT 配置冲突:443 监听失败怎么定位

陆零云 36 0
nginx 平滑重载之后,443 开始随机挂起,curl 十次里有两次卡满五秒才超时,同一时刻 80 端口完全正常。监控上 QPS 掉了三成,日志里一条错误都没有。 ss -lntp 查 443,输出里出现两行 listen,两个不同的 master 进程都在 0.0.0.0:443 上。正常情况新进程起来时旧进程应该已经释放,这里两个都活着。 这就是 reuseport 的特性。它让多个 socket 绑同一端口都成功,内核按四元组哈希把连接分给其中一个...

nginx 热 reload 报 502 持续 0.3 秒 | 旧进程怎么平滑退出

陆零云 34 0
nginx 1.24.0 做配置发布,reload 之后监控上冒出 17 个 502,持续 0.3 秒左右。每次发布都复现。 error.log 原文是 upstream prematurely closed connection while reading response header from upstream,upstream 指向 unix:/run/php-fpm.sock。nginx 和 php-fpm 在同一台机器上。 第一反应是 php-...

TLS 1.3 开 0-RTT:重放风险怎么关掉这一项

陆零云 34 0
安全扫描报告里有一条高危,说站点支持 TLS 1.3 的 0-RTT,而且服务端接受了早数据里的非幂等请求。复现方式很土,抓一次 0-RTT 的 POST,把整段字节重放两遍,后台生成了两笔一样的订单。 0-RTT 的设计就这样,早数据在握手完成前就发出去了,服务端没法确认它是不是重放。TLS 层只保证加密,不保证只执行一次。开关在 nginx 上是 ssl_early_data on,写在 server 块里,默认是关的,我们是照一份调优模板抄过来的。...