PDF 每页页眉进了 chunk 召回涨不上去 1200 份文档怎么统一清洗

产品手册 1200 份进了知识库,答案总是答非所问。抽 30 条召回结果看切片,每块开头都是某某科技内部资料第十二页,结尾是一串官网地址,真正的内容被挤在中间。

第一反应是停用词表不够,把内部资料、第几页写进黑名单。可公司名和页码是变量,页眉还有三种模板,黑名单挡得住一种挡不住三种。这类噪音占了切片三成字符,向量被它带偏,相似度算出来全挤在 0.7 左右,分不开。

又试了按固定规则删首尾两行,跨页表格被删掉表头,目录页被删掉第一条。误删比噪音更难发现,评测分数还涨了一点,因为答案短了看起来更聚焦,实际上信息少了。

还有一种情况是双栏排版。左右两栏的页眉在同一行,抽出来变成一条长文本,统计能命中,可正文也被拼到一起,清洗完顺序还是乱的。这类文档单独走了版面分析,按栏切开再各自清洗,多花二十分钟,一百多份双栏手册全部重跑。

换方案,按整份文档做统计。同一行文本在超过三成页面里出现,就判定为页眉或页脚,整份文档统一删掉;页码单独用正则清;短于十五字又在页首连续出现两行以上的也删。删完再切块,每块 512 个 token,重叠 64。

from collections import Counter
def drop_running(lines, pages):
    c = Counter(l.strip() for l in lines)
    bad = {l for l, n in c.items()
           if n >= pages * 0.3 and len(l) < 60}
    return [l for l in lines if l.strip() not in bad]

1200 份跑完,页眉页脚残留从每块 2.3 行降到 0.1 行。300 条问题的评测,前五条召回率从 0.48 到 0.71,引用错页码的比例从两成二降到三个点。

有个细节,扫描件识别出来的页眉常带错字,统计命中率会掉,阈值放宽到两成,宁可多删一点。清洗要放在切块之前,别等切完再处理,块边界会把页眉切碎,统计就对不上了。判断清洗有没有效,把前二十个切片完整打出来读一遍,比看指标快。

您可以还会对下面的文章感兴趣: