RAG 改写 query 后召回从 0.82 掉到 0.71 策略怎么退回去

客服知识库接 RAG,检索前用一个小模型把用户问题改写成 3 条查询分别检索再合并,离线评测 Recall@5 从 0.82 掉到 0.71,线上答非所问的工单明显变多,产品先让把改写关掉。

拆开看具体坏在哪。改写模型把「退款多久到账」扩成「退款到账时间 退款流程 提现周期」,其中提现周期把财务类文档拉进 top5,正确的支付文档被挤出去。三条查询各取 top5 合并去重后 11 条,按相似度直接拼,没有重排,噪声被放大。合并后的排序也没有业务权重,热门词条被反复顶到前面,正确条目反而被稀释。

试过只保留改写后的第一条,召回回到 0.79,仍低于不改写;试过加 bge-reranker-base 重排,0.84,端到端延迟从 320 毫秒涨到 780 毫秒,客服要求 500 毫秒以内,压不下去。重排只做二段打分,不改召回集合,能修排序修不了漏召回。

最终退回原 query 为主,改写只做兜底:原 query 的 top5 最高相似度大于等于 0.62 就直接用,低于阈值才触发改写,且只改写一条,合并后统一过 reranker。0.62 是扫 400 条标注样本扫出来的最佳切点,再高会漏掉短 query,再低改写触发率飙到 40%。

上线一周,Recall@5 回到 0.83,改写触发率 14%,平均延迟 410 毫秒,比纯改写方案省了一半重排调用。评测集用同一批 400 条工单,前后可比。

改写解决的是短 query 歧义,不是长句召回。先量原 query 的相似度分布,再决定要不要开,别一上来就扩写成三条。

SIM_TH = 0.62
hits = search(query, top_k=5)
if hits[0].score >= SIM_TH:
    ctx = hits
else:
    rw = rewrite(query, n=1)
    ctx = rerank(query, hits + search(rw[0], top_k=5))
answer(ctx)

您可以还会对下面的文章感兴趣: