PDF 每页页眉进了 chunk 召回涨不上去 1200 份文档怎么统一清洗

陆零云 22 0
产品手册 1200 份进了知识库,答案总是答非所问。抽 30 条召回结果看切片,每块开头都是某某科技内部资料第十二页,结尾是一串官网地址,真正的内容被挤在中间。 第一反应是停用词表不够,把内部资料、第几页写进黑名单。可公司名和页码是变量,页眉还有三种模板,黑名单挡得住一种挡不住三种。这类噪音占了切片三成字符,向量被它带偏,相似度算出来全挤在 0.7 左右,分不开。 又试了按固定规则删首尾两行,跨页表格被删掉表头,目录页被删掉第一条。误删比噪音更难发现,评测...