陆零云
10
0
Rust 1.76 的缓存服务,图省事用了 Rc<RefCell<HashMap<u64, String>>>,单线程跑得好好的。加了个后台线程定时写缓存,clone 之后 move 进 thread::spawn,cargo build 直接报 Rc 不能跨线程发送。
报错原文是 Rc<RefCell<HashMap<u64, String>>> cannot be sent bet...
陆零云
26
0
采集服务用 Go 1.22,8 个 producer goroutine 往同一个 channel 写,另有一个超时 goroutine 在一分钟后执行 close(ch)。压测跑了四十分钟,进程突然挂掉,stderr 只有 panic: send on closed channel,后面跟一屏栈。
第一反应是某处重复 close,搜了一遍只有一个 close 调用。真实原因是 close 和 send 并发:超时那一刻 close 先执行,别的 prod...
陆零云
32
0
批量抓取脚本用 Python 3.11 的 asyncio,200 个页面并发,任务列表直接丢给 gather,没加 return_exceptions。跑到第 37 个时某个页面返回 404,aiohttp 抛 ClientResponseError,整个 gather 立刻把异常抛出来,主函数退出。
第一反应是进程挂了,看日志才发现后面还有十几条 Task was destroyed but it is pending 的告警。gather 在第一个异...
陆零云
31
0
Rust 1.76 的采集 Agent,有个状态结构体用 std::sync::Mutex 包着。上线第二天,处理线程数从 8 掉到 1,进程还在,CPU 只有 3%,日志一条报错都没有。
我第一反应是锁顺序问题,两个线程互相等对方的锁。用 gdb attach 上去,thread apply all bt,八个线程都停在 pthread_mutex_lock,只有一个线程的栈里能看到它已经持有这把锁,而且是在等自己。
代码里 handle 方法先 loc...
陆零云
33
0
商品详情页的聚合接口 P99 到 1.6 秒,前端只发一个请求,看起来不像网络问题。链路追踪里这个 span 下面挂了五个子调用。
把每个子调用的耗时拉出来,库存 280 毫秒,价格 260 毫秒,推荐 300 毫秒,评价 240 毫秒,店铺 180 毫秒。五个加起来 1.26 秒,加上序列化,跟总耗时刚好对得上。
链路追踪的采样率是 10%,我特意把这一条请求的 trace 全量打开了,五个子调用的时间线才完整。
代码里这五个是按顺序写的,每个都 awa...
陆零云
30
0
Go 1.22 的服务凌晨重启,容器一直没起来。日志最后一行是 all goroutines are asleep - deadlock!,后面跟着二十多行 goroutine 栈。第一次撞见这个报错,我第一反应是某个 channel 忘了 close。这类报错只在启动时暴露,运行中反而更难抓。
栈里 main goroutine 停在 chan receive,另一个停在 chan send,两边都拿着同一个无缓冲 channel。生产者已经发出去了,消...
陆零云
33
0
Python 3.11 写的采集程序,8 个线程抓完就写本地 sqlite3,跑十几分钟开始报 sqlite3.OperationalError: database is locked,重试三次仍然失败,队列里积了 6 万条没落库。
第一反应是没设超时,connect 时带上 timeout=30,情况好了一些,但每小时仍有 200 多条失败。默认的 busy_timeout 只是让它在锁上排队等,锁本身一个都没少。
翻日志找到一个线程一次 execute...
陆零云
27
0
JDK 17 的会话清理任务,每分钟遍历一个 ArrayList,把空闲超过 1800 秒的会话删掉。早上 9 点并发一上来,任务抛 java.util.ConcurrentModificationException,堆栈停在 ArrayList$Itr.next,清理断掉,会话表涨到 4.2 万条,内存告警跟着来。
第一反应是遍历时删元素的老问题,改成 Iterator 加 it.remove(),单线程自测跑了 20 分钟没问题。上线第二天照样抛,只是...
陆零云
31
0
access token 有效期 30 分钟,refresh token 一次一换。上线后用户反馈偶尔被踢回登录页,一天十几次。
日志里同一秒出现三条 POST /auth/refresh,第一条 200,后两条 401 invalid_grant。页面首屏并发发了三个接口,token 同时过期,三个请求各自判定需要刷新。
刷新接口做了轮换,旧的 refresh token 用完即废。第一个请求换到新 token,另外两个还拿着旧的,服务端认为是被盗用,把...
陆零云
29
0
服务日志里突然出现 panic: sync: negative WaitGroup counter,进程直接退出,前几秒还在正常处理任务。复现概率很低,十几分钟一次,本地压测两个多小时才撞上一回,抓到栈的时候 goroutine 号早就换了。
先数是和 Done 配对,全局搜 wg.Done 有 4 处,wg.Add 只有 2 处,其中一处还写在 goroutine 里面。把 Add 挪到 go 之前,panic 频率降下来但没绝迹,说明不止这一个原因。...