PDF 每页页眉进了 chunk 召回涨不上去 1200 份文档怎么统一清洗

陆零云 22 0
产品手册 1200 份进了知识库,答案总是答非所问。抽 30 条召回结果看切片,每块开头都是某某科技内部资料第十二页,结尾是一串官网地址,真正的内容被挤在中间。 第一反应是停用词表不够,把内部资料、第几页写进黑名单。可公司名和页码是变量,页眉还有三种模板,黑名单挡得住一种挡不住三种。这类噪音占了切片三成字符,向量被它带偏,相似度算出来全挤在 0.7 左右,分不开。 又试了按固定规则删首尾两行,跨页表格被删掉表头,目录页被删掉第一条。误删比噪音更难发现,评测...

扫描版 PDF 解析全是乱码 | 每页 300 dpi 重渲染再 OCR 怎么做

陆零云 33 0
一批 2019 年的供应商合同是扫描件,pdfplumber 抽出来的文本每页只有十几个空格和 \x00,有一页出来全是锟斤拷。文件 38MB,每页就是一张 2480×3508 的图,根本没有文本层。 先加判断再决定走哪条路。每页 extract_text() 之后统计非空白字符,少于 50 个就当扫描页处理,正常排版的 PDF 一页通常 800 字以上,这个阈值不会误伤。判断完用 PyMuPDF 把页面渲染成图,dpi 直接给 300。 踩过两个坑。一个...