600 字分块把中文段落腰斩 分隔符优先级怎么改

陆零云 20 0
知识库重切那天,客服说答案经常从半句话开始。翻切片,一条是「退款申请需在」,下一条接「订单签收后七天内提交」,句子被腰斩。用的是 LangChain 0.3 的 RecursiveCharacterTextSplitter,chunk_size 设 600,分隔符没传,走的是默认那套。 第一反应是块太小,从 600 提到 1200。块变大了,断句问题还在,只是断点少了一半。又怀疑重叠不够,从 60 加到 150,相邻块重复内容变多,检索出来两条几乎一样的片...

PDF 每页页眉进了 chunk 召回涨不上去 1200 份文档怎么统一清洗

陆零云 22 0
产品手册 1200 份进了知识库,答案总是答非所问。抽 30 条召回结果看切片,每块开头都是某某科技内部资料第十二页,结尾是一串官网地址,真正的内容被挤在中间。 第一反应是停用词表不够,把内部资料、第几页写进黑名单。可公司名和页码是变量,页眉还有三种模板,黑名单挡得住一种挡不住三种。这类噪音占了切片三成字符,向量被它带偏,相似度算出来全挤在 0.7 左右,分不开。 又试了按固定规则删首尾两行,跨页表格被删掉表头,目录页被删掉第一条。误删比噪音更难发现,评测...