陆零云
29
0
网关日志里每隔四十秒出现一批连接重建,TLS 握手的 QPS 从 300 冲到 2600。前端没报错,但首屏 P99 从 90 毫秒涨到 210 毫秒,用户能感觉到一顿。
第一反应是客户端连接池太小。把池子从 50 调到 200,握手峰值一点没降,反而更高,不是池子的问题。
抓 HTTP/2 的帧。连接传完第 1200 个请求之后收到一个 GOAWAY,last_stream_id 正好是最后一个完成的流。客户端实现没处理这个帧,直接把整条连接扔掉重建。...
陆零云
31
0
换证书那天下午,安卓 7 的机器打不开站点,微信里提示证书无效。同一台电脑用 Chrome 访问正常,地址栏的锁是绿的。客服统计了一下,受影响的基本是 2017 年前后的手机。
第一反应是证书过期。openssl x509 -in cert.pem -noout -dates 看有效期还剩 218 天,签发者和 SAN 都正常。时间没问题。
翻 nginx 配置,ssl_certificate 指向 /etc/ssl/fullchain.pem。文件名带着...
陆零云
28
0
回源流量上来以后,八台 nginx 的 CPU 有一半花在 TLS 握手上。会话复用开了,ssl_session_cache 也配了,实测复用率只有 12.3%,等于没开。
我第一反应是客户端不支持。用 openssl 手动连两次,第二次确实复用了,说明协议层没问题。那问题就在服务端这八台机器之间。
翻配置发现每台只写了 ssl_session_ticket_key 的路径,文件却是各机器自己 openssl rand 生成的,内容完全不一样。前面挂的四层...
陆零云
30
0
为了让移动端首包快一点,把 nginx 升到 1.25,开了 TLS 1.3 的 0-RTT,ssl_early_data on。上线第三天,支付回调里出现 87 条重复的 request_id,金额和订单号都一样,对方说只发了一次。
第一反应是对方重试,把他们的发送日志要过来,同一个 request_id 只有一条,时间戳还比我们记录的第一次晚 300 毫秒。抓包看到两次请求的 ClientHello 都带了 early_data 扩展,第二次是拿缓存的...
陆零云
33
0
新机房的 HTTPS 首包比老机房慢 300 毫秒,同一个证书、同一份配置。curl 分段看,TCP 连接 12 毫秒,TLS 握手 380 毫秒,老机房只有 80 毫秒。
第一反应是证书链。openssl s_client 看了下,链是三层,没有多余的中级证书,和老机房一样。
再看握手细节。带 -status 参数请求 OCSP,服务端返回 no response sent,说明 stapling 没生效。客户端只能自己去查 OCSP,查不到就等超时,这...
陆零云
29
0
安全扫描报告出来,37 个 URL 缺 X-Frame-Options,全集中在 /shop/ 和 /api/ 两个前缀下。首页和文章页都有头,curl -I 能看到的差异只有路径。
第一反应是漏配。翻 /etc/nginx/conf.d/site.conf,server 块里明明有一行 add_header X-Frame-Options SAMEORIGIN always,写了两年前,没人动过。
把 /shop/ 的 location 贴出来对比,里面...
陆零云
30
0
灰度开关打开十分钟,监控上 502 从每万次 3 个涨到 180 个。失败集中在带 gray=1 cookie 的请求上,没带 cookie 的老用户完全正常。
error.log 原文是 no resolver defined to resolve new。这句说明 nginx 把 new 当成域名去解析,而不是当成 upstream 名字。
配置里 map 把 $cookie_gray 映射到 new,upstream 块定义的却是 new_v2。变量...
陆零云
36
0
nginx 平滑重载之后,443 开始随机挂起,curl 十次里有两次卡满五秒才超时,同一时刻 80 端口完全正常。监控上 QPS 掉了三成,日志里一条错误都没有。
ss -lntp 查 443,输出里出现两行 listen,两个不同的 master 进程都在 0.0.0.0:443 上。正常情况新进程起来时旧进程应该已经释放,这里两个都活着。
这就是 reuseport 的特性。它让多个 socket 绑同一端口都成功,内核按四元组哈希把连接分给其中一个...
陆零云
34
0
nginx 1.24.0 做配置发布,reload 之后监控上冒出 17 个 502,持续 0.3 秒左右。每次发布都复现。
error.log 原文是 upstream prematurely closed connection while reading response header from upstream,upstream 指向 unix:/run/php-fpm.sock。nginx 和 php-fpm 在同一台机器上。
第一反应是 php-...
陆零云
34
0
安全扫描报告里有一条高危,说站点支持 TLS 1.3 的 0-RTT,而且服务端接受了早数据里的非幂等请求。复现方式很土,抓一次 0-RTT 的 POST,把整段字节重放两遍,后台生成了两笔一样的订单。
0-RTT 的设计就这样,早数据在握手完成前就发出去了,服务端没法确认它是不是重放。TLS 层只保证加密,不保证只执行一次。开关在 nginx 上是 ssl_early_data on,写在 server 块里,默认是关的,我们是照一份调优模板抄过来的。...