前端在 a.example.com,接口在 api.example.com,跨域头早就配好了,平时相安无事。上周开始每天上午十点左右冒出十几条 504,Nginx 的 upstream_response_time 清一色 60.003,看着像后端卡死。可同一分钟 PHP-FPM 的 slow log 是空的,接口自身耗时只有 180ms。
把 504 的请求号拎出来对日志,发现网关根本没连上后端,upstream_addr 是一个我没见过的 IP。dig +trace 走了一遍,权威返回的 CNAME 指向 CDN,但某些地市的递归返回另一个地址,TTL 明明设的 60 秒,缓存却留了几个小时。
怀疑过回源慢。把 CDN 回源超时从 60 调到 30,504 反而更多,因为源站偶发 300ms 抖动就直接触发。也试过把接口域名单独拆出来不走 CDN,超时没了,延迟从 12ms 涨到 40ms,跨省用户体验更差。
真正的证据是自己造出来的。在出问题的那几个地市找机器,用 curl --resolve 把域名钉到权威 IP,连续跑 200 次一次没超时;不钉的时候十几次超时,抓包看到 TLS SNI 正常、证书也对,TCP 建连阶段却停在 SYN_SENT。这不是回源问题,是解析结果被换掉了。
为了排除自家 CDN 配置的嫌疑,我又在一个地市用 4G 热点复现。手机浏览器打开接口域名,chrome://net-export 里拿到的解析结果落在另一个省,和权威答案差了两百多公里;切回 Wi-Fi 就正常,同一台手机同一个页面。
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' \
--resolve api.example.com:443:203.0.113.10 \
https://api.example.com/health
运营商 DNS 劫持没法正面刚。我们最后给接口域名配了 HTTPDNS,客户端启动拉一次 IP 列表,失败再回落 LocalDNS;服务端拨测脚本每 5 分钟用 --resolve 打一遍权威地址,超时率超过 1% 就告警。上线两周,504 从每天十几条降到零。
