Python 3.11 用 py-spy 看到 400 个线程全停在 futex 怎么定位哪把锁

Python 3.11 的查询服务,8 核 16G,平时 QPS 900。周一早上掉到 30,CPU 只有 15%,接口 p99 从 180 毫秒涨到 8 秒,监控上没有报错,只有超时。

我第一反应是 GIL 争抢,但 GIL 只会让 CPU 打满,不会让使用率掉下来。用 py-spy dump --pid 抓了一份,400 个线程里 398 个停在 futex,栈顶都是 threading.Lock.acquire,只有一个线程在跑。

顺着栈找到那把锁,它包住了一次下游 HTTP 调用,timeout 设的 3 秒。一个慢请求持锁 3 秒,其余线程全部排队,线程池越开越大,排队反而更长。之前把线程数从 200 加到 400,QPS 只从 30 变成 32,就是这个原因。

把锁的范围缩到只保护本地字典的写入,网络请求挪到锁外,同一个 key 的重复请求用额外的 in-flight 表合并。日志那块也有问题,全局 handler 内部有锁,慢磁盘的 write 在锁里,改成 QueueHandler 加独立线程消费。

改完再看 py-spy,futex 上的线程从 398 降到 12,CPU 回到 55%,QPS 900。p99 稳定在 190 毫秒,和故障前基本一致。

线程池的监控之前只采集了活跃数,没有排队长度,所以故障时看不出问题。补了队列长度和等待时间两个指标,超过 500 毫秒就告警,下次不用等用户投诉。那把锁后来换成了读写锁,读多写少的场景并发度更高,但写操作仍然要独占,热点 key 上还是会排队。真正的解法是让慢调用不进锁,锁只保护内存里的指针替换。监控补上之后,同样的排队十分钟内就能看见,告警直接发到值班群。

复盘时发现这个改动是三个月前加的,当时只测了单请求耗时,没有测并发,代码评审也没人注意到锁的位置。

确认口径:连续观察 3 天,没有再次出现线程全部等锁;人为把下游延迟打到 3 秒,只有持有对应 key 的请求变慢,其他 key 不受影响;线程数固定 200,不再需要往上加。

py-spy dump --pid 24117 --locals
with lock:
    cache[key] = value
resp = session.get(url, timeout=3)

您可以还会对下面的文章感兴趣: