陆零云
20
0
知识库重切那天,客服说答案经常从半句话开始。翻切片,一条是「退款申请需在」,下一条接「订单签收后七天内提交」,句子被腰斩。用的是 LangChain 0.3 的 RecursiveCharacterTextSplitter,chunk_size 设 600,分隔符没传,走的是默认那套。
第一反应是块太小,从 600 提到 1200。块变大了,断句问题还在,只是断点少了一半。又怀疑重叠不够,从 60 加到 150,相邻块重复内容变多,检索出来两条几乎一样的片...
陆零云
22
0
产品手册 1200 份进了知识库,答案总是答非所问。抽 30 条召回结果看切片,每块开头都是某某科技内部资料第十二页,结尾是一串官网地址,真正的内容被挤在中间。
第一反应是停用词表不够,把内部资料、第几页写进黑名单。可公司名和页码是变量,页眉还有三种模板,黑名单挡得住一种挡不住三种。这类噪音占了切片三成字符,向量被它带偏,相似度算出来全挤在 0.7 左右,分不开。
又试了按固定规则删首尾两行,跨页表格被删掉表头,目录页被删掉第一条。误删比噪音更难发现,评测...