回源流量上来以后,八台 nginx 的 CPU 有一半花在 TLS 握手上。会话复用开了,ssl_session_cache 也配了,实测复用率只有 12.3%,等于没开。
我第一反应是客户端不支持。用 openssl 手动连两次,第二次确实复用了,说明协议层没问题。那问题就在服务端这八台机器之间。
翻配置发现每台只写了 ssl_session_ticket_key 的路径,文件却是各机器自己 openssl rand 生成的,内容完全不一样。前面挂的四层 SLB 按轮询分发,同一个客户端第二次连到另一台,票据解不开,只能回落到完整握手。
我先试了把调度改成源地址哈希,复用率涨到 61%,但流量分布立刻歪了,两台机器扛了七成连接,扩缩容也失效,不能这么干。
正确做法是统一票据密钥。生成一份 48 字节的 key,用配置管理下发到八台,权限 600。轮换时保留两把,新的用来加密,旧的留着解密,等一个 session_timeout 周期再删旧的。
openssl rand 48 > /etc/nginx/ticket.key
chmod 600 /etc/nginx/ticket.key
ssl_session_ticket_key /etc/nginx/ticket.key;
ssl_session_timeout 4h;
openssl s_client -connect a.com:443 -reconnect </dev/null
最后一条要看清输出,第二次开始的会话里出现 Reused 才算成功。改完复用率稳定在 78%,握手占用的 CPU 从 52% 掉到 19%。
密钥文件别写进镜像,也别提交到仓库。我们走的是配置中心加密下发,机器重启后重新拉一次。
