Python 3.11 线程池 submit 的异常不抛出来 怎么查

陆零云 31 0
数据清洗任务用 concurrent.futures 的线程池跑 5 万条记录,提交方式是 executor.submit(clean, row),返回值没人接。跑完打印进度 100%,落到库里的却只有 49700 条,少的 300 条没有任何日志。 第一反应是数据库写入失败,翻了 MySQL 的错误日志,干干净净。又把 clean 函数里的异常捕获去掉重跑,结果一样,进程退出码还是 0,像是那些行从来没被提交过。 问题在 submit 的返回对象上。Fu...

异步线程池日志 traceId 100% 为 null:MDC 透传怎么补

陆零云 35 0
查一个下单超时的工单,按 traceId 去日志平台捞,同步段七条日志都在,进入线程池之后只剩时间戳,traceId 那一列全是 null。 埋点方式是 logback 的 %X{traceId},入口在 Filter 里 MDC.put。同步调用没问题,一旦交给 @Async 或者自己 new 的 ThreadPoolExecutor,MDC 就断了。 原因不复杂,MDC 底层是 ThreadLocal,值跟着线程走。提交任务只是把 Runnable 放...

Java 起 800 个线程报 unable to create native thread 到底卡在哪一层

陆零云 45 0
接口压到 800 并发时,日志里刷出 java.lang.OutOfMemoryError: unable to create native thread: possibly out of memory or process/resource limits reached。JDK 17,容器 2 核 4G,堆才用了 1.2G,看起来离上限还远。 第一反应是堆外内存泄漏,把 -Xmx 从 2g 调到 1g,重启后十分钟又崩。jstack 也打不出来,报的是同...

Java 线程池队列满走 AbortPolicy | 500 个任务静默失败在哪

陆零云 24 0
JDK 17.0.9,下单接口用的是 ThreadPoolExecutor(8, 16, 60s, ArrayBlockingQueue(200), AbortPolicy)。大促当天 500 个任务并发提交,日志里刷 RejectedExecutionException,财务对账发现 37 笔订单没有落库,用户那边显示下单成功。 拒绝策略本身没选错,AbortPolicy 抛异常是正常设计,错在调用处 catch 住之后只打了一条 warn,任务就彻底没...