Rust 1.76 的采集 Agent,有个状态结构体用 std::SYNc::Mutex 包着。上线第二天,处理线程数从 8 掉到 1,进程还在,CPU 只有 3%,日志一条报错都没有。
我第一反应是锁顺序问题,两个线程互相等对方的锁。用 gdb attach 上去,thread apply all bt,八个线程都停在 pthread_mutex_lock,只有一个线程的栈里能看到它已经持有这把锁,而且是在等自己。
代码里 handle 方法先 lock 拿到 guard,处理到一半调用了一个 helper 做统计,helper 内部又 lock 了同一把 Mutex。std 的 Mutex 不可重入,第二次 lock 直接把自己挂住,不 panic 也不打日志,只有超时监控能看出来。
试过换 parking_lot 的 ReentrantMutex,能进去,但 guard 的释放顺序乱了,统计值偶尔少一半,新人看到可重入会继续往里面套锁,等于把坑埋得更深。
最后的改法是拆函数,helper 改成接收 &mut 内部数据的私有函数,不再自己加锁,只有最外层 lock 一次。加了一条规矩,Mutex 的 guard 不允许跨函数传递,code review 看到就拦。线上另外加了 try_lock 巡检,拿不到锁就打印持锁线程的调用栈。
这件事之后我把项目里所有 Mutex 的使用点列了一遍,发现还有两处 guard 被存进结构体,生命周期跟锁本身一样长,等于永久持锁。改成每次操作现取现放,guard 只在当前作用域里活着。
调试这类问题别只盯日志,gdb 的 info threads 加上调用栈更直接,能看到线程到底睡在哪个地址上。生产环境不方便 attach 时,用 perf top 看 futex 的调用来源也能定位到函数。这两种手段都不改代码,适合先确认方向再动手。锁的范围越小,出问题时越容易看出来。这条规则后来也加进了新人手册。
确认口径:故障注入用例里,同一线程重复加锁会在 5 秒内被 try_lock 检出并打日志,不再静默挂死;压测 2 小时,8 个线程的 CPU 都在 60% 左右,没有单线程独占。
let mut guard = state.lock().unwrap();
apply(&mut guard.items, input); 