一批 2019 年的供应商合同是扫描件,pdfplumber 抽出来的文本每页只有十几个空格和 \x00,有一页出来全是锟斤拷。文件 38MB,每页就是一张 2480×3508 的图,根本没有文本层。
先加判断再决定走哪条路。每页 extraCt_text() 之后统计非空白字符,少于 50 个就当扫描页处理,正常排版的 PDF 一页通常 800 字以上,这个阈值不会误伤。判断完用 PyMuPDF 把页面渲染成图,dpi 直接给 300。
踩过两个坑。一个是用 pdf2image 默认 72 dpi,出来 595×842,小五号字糊成一团,OCR 把「人民币」认成「人氏币」。另一个是直接把 PDF 里嵌的原图抠出来送识别,那张图实际只有 120 dpi 的 JPEG,压缩噪点全在,识别率反而比重新渲染低 11 个百分点。
识别用 PaDDLeOCR 3.0 的中文模型,方向分类关掉能省 30% 时间,但合同里有横排表格,开了才不出乱序。进模型前做一次灰度加自适应二值化,印章盖住的行单独打标记,交人工复核。
还有两个后处理。双栏排版的合同按 x 坐标中位数切成左右两列分别识别,直接整页识别会把两栏文字交叉拼在一起。页眉的合同编号和页脚的页码按位置过滤,每页都重复出现,进了正文会污染条款编号。
import fitz
from paddleocr import PaddleOCR
doc = fitz.open(path)
ocr = PaddleOCR(use_angle_cls=True, lang="ch")
for page in doc:
if len(page.get_text().strip()) < 50:
pix = page.get_pixmap(dpi=300)
pix.save("/tmp/p.png")
lines = ocr.ocr("/tmp/p.png", cls=True)
验证按行对。抽 100 页人工转录 300 行做基准,字符准确率从 63.2% 提到 96.7%;数字和金额字段单独统计,从 71% 到 99.1%。剩下的错集中在表格线和手写签名。速度 4.2 秒一页,300 页跑 21 分钟,放队列里过夜跑完。
