知识库上了 BM25 加 bge-m3 的混合检索,两路各取 50 条,用 RRF 融合,k 取 60。上线后 MRR 从 0.74 掉到 0.68,nDCG@10 少了 0.04,比单路向量还差。单次检索 90 毫秒,向量那路占 70 毫秒,BM25 只花 15 毫秒,延迟不是瓶颈。
第一反应是权重不对,把向量那路加权到 2 倍,MRR 回到 0.71,仍不如单路。又试了把两路分数归一化后相加,结果 0.66,更差。RRF 只看排名,本来就不该做分数归一,这一步白折腾。
把融合后的前 10 条打出来,问题很直观,同一篇文档的五个 chunk 占满列表。BM25 命中长文档的多个段落,向量那路也命中同一篇,两路叠起来把别的文档全挤走了。缺的是按文档去重。
改成先按 doc_id 合并,取该文档下分数最高的 chunk 参与融合,再按 chunk 粒度回填。BM25 的分词也修了,退款时效被切成退款和时效两个词,加自定义词典后当成一个词。权重定成向量 1、BM25 1.2,k 还是 60。
def fuse(dense, sparse, k=60, w=(1.0, 1.2)):
best = {}
for rank, d in enumerate(dense):
cur = best.setdefault(d["doc_id"], 0.0)
best[d["doc_id"]] = cur + w[0] / (k + rank + 1)
for rank, d in enumerate(sparse):
cur = best.setdefault(d["doc_id"], 0.0)
best[d["doc_id"]] = cur + w[1] / (k + rank + 1)
return sorted(best.items(), key=lambda x: -x[1])
重跑 1200 条评测,MRR 0.78,nDCG@10 0.81,比单路向量高 0.04。线上答案引用错文档的比例从 6.2% 降到 2.7%。
顺便把召回条数从各 50 降到各 30,融合后取 10 条,MRR 没掉,检索时间少了 25 毫秒。条数多了以后长尾文档更容易挤进来,排序噪声也跟着涨,30 条是这批数据下的平衡点。
评测集是人工标的 1200 条,每条只标一个正确文档,多标的情况单独看过 60 条,结论没变。BM25 那边也试过把 k1 从 1.2 调到 1.6,长文档得分被压,MRR 反而降 0.02,最后保持默认。
先按文档聚合再算排名,这一步改完,两个业务的召回都稳了。条数降下来之后,离线评测跑得也快,一轮从 18 分钟到 11 分钟。
融合前先去重这步最容易漏,长文档切得越碎越明显。评测时把 top10 里 doc_id 的去重数量一起打出来,低于 5 就说明列表被一篇文档占了。
