知识库重切那天,客服说答案经常从半句话开始。翻切片,一条是「退款申请需在」,下一条接「订单签收后七天内提交」,句子被腰斩。用的是 LangChain 0.3 的 RecursiveCharacterTextSplitter,chunk_size 设 600,分隔符没传,走的是默认那套。
第一反应是块太小,从 600 提到 1200。块变大了,断句问题还在,只是断点少了一半。又怀疑重叠不够,从 60 加到 150,相邻块重复内容变多,检索出来两条几乎一样的片段,答案开始复读。
把分隔符打出来才看明白,默认列表是双换行、单换行、空格、空串。中文正文里没有空格,前三档都命不中,最后落到按字符切,等于硬切。合同段落里还有全角空格,命中空格那一档时切得更碎。
sep = ["\n\n", "\n", " ", "。", "!", "?", ";", ""]
sp = RecursiveCharacterTextSplitter(
separators=sep,
chunk_size=600,
chunk_overlap=60,
keep_separator="end",
)
换成中文标点做分隔,句号、问号、叹号、分号按优先级排,最后才留空串兜底。标点留在前一块末尾,句子读起来才完整。全角空格单独放在换行之后,避免它抢在句号前面。
重切 1.8 万块,抽 200 块人工看,断句不合格从 63 块降到 7 块。评测 300 条问题,前五条召回率从 0.61 到 0.74,答案里出现半句开头的情况基本没了。块数多了 12%,索引重建多花 4 分钟,能接受。
分隔符列表不是越长越好。把逗号提到句号前面试过一次,平均块长掉到 210 字,召回反而降了 3 个点。判断切得对不对,别看平均长度,抽二十块连着读一遍最快。
