鲲鹏 920 的 16 核机器上跑 RapidOCR,2 万页扫描件,每页 0.8 秒,一批跑完 4 个多小时。top 里 CPU 只用到 300%,明显没吃满。这台机器白天还有别的任务抢核,所有测试都放在晚上跑,避免数据打架。
第一反应是线程给少了,把 intra_op_num_threads 设成 16,反而更慢,每页 1.1 秒。上下文切换每秒几万次,线程抢锁比干活多。降到 8 个,0.55 秒,有改善但离目标还远。
拆开看两段耗时,检测占 0.5 秒,识别占 0.25 秒。检测输入长边默认 960,缩到 736 后检测降到 0.18 秒,准确率从 94.1% 掉到 92.9%,能接受。再把 OMP_NUM_THREADS 固定成 4,避免 onnxruntime 和 OpenMP 各开一套线程互相抢核。
from rapidocr_onnxruntime import RapidOCR
engine = RapidOCR(
det_limit_side_len=736,
det_limit_type="max",
intra_op_num_threads=4,
inter_op_num_threads=1)
result, elapse = engine("page.png")
调完每页 0.28 秒,CPU 稳定在 1200%,2 万页 1.6 小时跑完。批量时一次读 32 页放队列,识别完立刻释放,内存峰值从 6GB 降到 2.1GB。
这台机器有 4 个 NUMA 节点,进程绑在单个节点上反而更快,numactl 绑 4 个核比摊到 16 个核快 15%。ARM 上核多不等于快,跨节点访存的开销比想象中大。
识别那一段也调了,rec 模型的输入高度固定 48,宽度按比例缩放,长图会被拉得很宽。batch 从 1 提到 8,识别耗时从 0.25 秒降到 0.16 秒。批量只在图片尺寸接近时有效,混着大小图反而慢。
还有一处浪费在图片解码,PIL 读进来再转 numpy 要 60 毫秒,换成 opencv 直接读灰度,省了 20 毫秒。扫描件分辨率也不统一,有的 200 dpi 有的 600 dpi,统一到 300 dpi 再进检测,既不掉精度也省时间。彩色页面先转成灰度再检测,准确率没有受影响。
这台机器没有 GPU,全靠 CPU,参数调对了才能顶住。检测和识别分两个进程跑,互不抢核,整体又快了 8%。批量任务的队列长度也要限,读太快内存还是会涨。
验证的时候别只看单页耗时,跑上 200 页取 P95 再乘总页数。单页快但抖动大的配置,整体反而会更慢。
