陆零云
30
0
知识库问答上线后,答非所问的比例一直下不去。检索链路是 bge-m3 取前 50 条,再用 bge-reranker-v2-m3 重排取前 5,打分调 FlagEmbedding 的 compute_score,阈值写 0.5,低于 0.5 就丢弃。
结果日志里 50 条候选的重排分全在 0.98 到 0.99 之间,一条都没被过滤,噪声全进了 prompt。第一反应是模型加载错了,把模型名打印出来,又拿两条完全不相关的文本单独打分,得到 -7.31 和...
陆零云
29
0
知识库问答上线后带 [1][2] 引用,前端按数组下标去映射来源文档。用户反馈点 [2] 打开的是另一篇,抽查 100 条,引用准确率只有 71%,还出现过 [6],而我们只传了 5 条上下文。
第一反应是模型编造序号。打印请求日志发现 prompt 里给的上下文顺序是重排后的,前端映射用的是重排前的原始 top5。两套顺序错位,[2] 自然指到别处。越界那条是模型按段落数自己数的,不是我们给的编号。
试过在 prompt 里禁止输出不存在的编号,加一句约...