现象
知识库按 512 个字符切块,问「退款多久到账」时 top5 里有四条是发票开具条款,正确的那段明明在文档里,却排到第八位,模型随后开始编造到账天数。同一个问题换个说法,召回结果又变了。
原因
固定长度切分会把标题和小节拆散,512 个汉字约合七百多 token,超过 bge 系列 512 token 的输入上限,后半段被静默截断。一个块里混了多个主题时,向量被平均成一个模糊中心,和任何具体问题都不够接近。重叠为 0 还会把跨块的答案从中间切断,检索到的只是半句话。
解决步骤
第一步,先量块的真实 token 数。用模型自带的 tokenizer 统计,确认是否超过输入上限,而不是只看字符数。
from transformers import AutoTokenizer
tk = AutoTokenizer.from_pretrained("BAAI/bge-m3")
blocks = [b for b in text.split("\n\n") if b.strip()]
print(max(len(tk.encode(b)) for b in blocks))
第二步,改成结构优先的切分。先按二级标题切,再按段落合并,单块控制在 256 字左右,重叠 32 字;表格单独成块并保留表头,避免把一行数据拆到两个块里。
第三步,加一层排序和评测。用 rerank 模型对 top20 重排取前 5,或者把关键词检索与向量结果融合;固定二十条标注问题,每次改动都算一遍 hit@5,用数据判断 Chunk 大小是否合适。
验证
同一批问题重跑,正确答案进入 top3 的比例从六成升到九成以上;随机抽十段看块内主题是否单一,没有被截断的句子,回答里的数字也能在原文中找到出处。
小结
召回不准多半是块切得太大或太碎。先量 token,再按结构切块,最后用 rerank 兜底,比一味换更大的 embedding 模型更有效。
