财报表格 chunk 引用率 0.42 加摘要字段后怎么提上去

陆零云 11 0
财报问答上线两周,引用率只有 0.42,用户问营业收入,回答里贴的是一段管理层讨论,数字对不上。抽召回结果看,表格转成 markdown 后跟正文一起切,一块 800 token,表格被切成两半,表头留在上一块,数字全成了没有列名的裸值。 第一反应是把块调大,1200 token 能装下大部分表。可大表照样断,而且块一大,召回时正文段落也被带进来,噪声更多。 试过把表格抽出来放另一个集合,只按表名检索。效果一般,用户问的是「三季度毛利率」,表名只写「主要财...

重排分数全挤在 0.99 附近 排序一直没变化 归一化放哪层

陆零云 30 0
知识库问答上线后,答非所问的比例一直下不去。检索链路是 bge-m3 取前 50 条,再用 bge-reranker-v2-m3 重排取前 5,打分调 FlagEmbedding 的 compute_score,阈值写 0.5,低于 0.5 就丢弃。 结果日志里 50 条候选的重排分全在 0.98 到 0.99 之间,一条都没被过滤,噪声全进了 prompt。第一反应是模型加载错了,把模型名打印出来,又拿两条完全不相关的文本单独打分,得到 -7.31 和...

RAG chunk 设 1024 后引用编号指错文档 怎么对上来源

陆零云 29 0
知识库问答上线后带 [1][2] 引用,前端按数组下标去映射来源文档。用户反馈点 [2] 打开的是另一篇,抽查 100 条,引用准确率只有 71%,还出现过 [6],而我们只传了 5 条上下文。 第一反应是模型编造序号。打印请求日志发现 prompt 里给的上下文顺序是重排后的,前端映射用的是重排前的原始 top5。两套顺序错位,[2] 自然指到别处。越界那条是模型按段落数自己数的,不是我们给的编号。 试过在 prompt 里禁止输出不存在的编号,加一句约...

RAG 改写 query 后召回从 0.82 掉到 0.71 策略怎么退回去

陆零云 28 0
客服知识库接 RAG,检索前用一个小模型把用户问题改写成 3 条查询分别检索再合并,离线评测 Recall@5 从 0.82 掉到 0.71,线上答非所问的工单明显变多,产品先让把改写关掉。 拆开看具体坏在哪。改写模型把「退款多久到账」扩成「退款到账时间 退款流程 提现周期」,其中提现周期把财务类文档拉进 top5,正确的支付文档被挤出去。三条查询各取 top5 合并去重后 11 条,按相似度直接拼,没有重排,噪声被放大。合并后的排序也没有业务权重,热门词...

检索片段按 512 字符切开后答非所问 拼接顺序怎么排

陆零云 24 0
客服机器人上线两周,用户问「退款多久到账」,它答的是「运费险在 7 个工作日内退回」。知识库里明明有退款时效那一条,召回 top6 里排第 4。把那段单独贴给模型,回答完全正确。问题不在检索,在拼接。 原来的代码把 6 段 chunk 按分数从高到低塞进 prompt,中间用三个横线分隔,没编号也没来源。chunk 512 字符、overlap 64,bge-m3 做向量,bge-reranker-base 重排。翻了 30 条 badcase,一半是答案...

bge-reranker-large 和 7B 模型同卡部署爆 OOM 显存怎么分配

陆零云 35 0
现象 一张 24G 卡上先起 vLLM 跑 7B 对话模型,再加载 bge-reranker-large 做精排,第一次 rerank 请求就报 CUDA out of memory,紧接着 vLLM 进程也被挤掉,两个接口一起返回 500,只能重启。 原因 vLLM 默认按整卡 90% 预留显存,留给其他进程的空间很小。reranker 权重只有 1G 出头,但一次送 32 条候选、每条 512 token,激活和中间张量会瞬间涨到几个 G。两个进程各自...

RAG 召回不准 chunk size 从 512 调到 256 之后怎么验证效果

陆零云 32 0
现象 知识库按 512 个字符切块,问「退款多久到账」时 top5 里有四条是发票开具条款,正确的那段明明在文档里,却排到第八位,模型随后开始编造到账天数。同一个问题换个说法,召回结果又变了。 原因 固定长度切分会把标题和小节拆散,512 个汉字约合七百多 token,超过 bge 系列 512 token 的输入上限,后半段被静默截断。一个块里混了多个主题时,向量被平均成一个模糊中心,和任何具体问题都不够接近。重叠为 0 还会把跨块的答案从中间切断,检索...

Milvus 检索 nprobe 128 仍召回为空怎么排查索引

陆零云 26 0
现象 集合里有十二万条向量,用 search 查 top_k=5,返回的 results 是空数组,不报错。把 nprobe 从 16 调到 128 仍然为空,换一个查询向量结果一样,但用主键查单条记录又能查到。 原因 向量检索为空通常不是索引参数问题,而是数据没真正可查。常见情况有三种:集合创建后没有 load,索引建在错误的字段上,或者查询带了过滤表达式,把候选集过滤成了空。还有一种容易被忽略,数据写进了别的 partition,而查询只搜默认分区。...

Embedding 维度 1024 和 768 不一致报错怎么统一

陆零云 33 0
现象 原来用 1024 维的向量模型建库,换成另一个 768 维的模型后,写入时报 dimension mismatch: expected 1024, got 768,查询接口也直接抛异常。重建索引后能写入,但检索结果明显变差。 原因 向量库的 collection 在创建时就把维度写进了 schema,之后不会因为换了模型自动调整。写入和查询都必须使用同一个模型、同一个维度,否则距离计算没有意义。只改写入端不改查询端,或者新旧向量混在同一个集合里,都会...

本地搭 RAG 跑 FAISS 报 IndexNotFoundError embedding 维度和 index_size 不匹配怎么修

陆零云 35 0
现象:本地 RAG 问答一直 IndexNotFoundError 用 LlamaIndex + Ollama 搭本地 RAG,向量库选的 FAISS。跑起来后问答一直报 IndexNotFoundError: 索引文件找不到或维度不匹配。检查 index.faiss 文件确实存在,embedding 维度也设的 384,跟 nomic-embed-text 输出一致。排查半天发现是创建 index 时传的维度参数错写成了 1536。 根因:embedd...