Faiss IVF_PQ 768 维压到 96 维 召回掉 9 个点怎么补

陆零云 34 0
二百万条知识片段,768 维向量,为了避免内存爆掉用了 Faiss 的倒排乘积量化,聚类中心四千零九十六,子空间 96,每段 8 比特。上线前跑五百条标注查询,前十召回只有 0.78,原来精确内积索引是 0.93,掉了十五个点,业务侧反馈是搜得到但不全。 第一反应是探测簇太少,从 8 提到 64,召回回到 0.84,单次查询从十二毫秒涨到九十毫秒,还是不够。又试子空间 192,每个只压四维,索引从 192 兆涨到 384 兆,召回 0.89,探测 32 个...

Qdrant 1.7 加过滤条件后查询慢 20 倍 payload 索引怎么建

陆零云 29 0
商品向量检索原本 12ms 返回,加了租户和类目过滤之后变成 240ms,P95 到 600ms。数据量四十万条,768 维,collection 用的是 HNSW,ef 默认 128。 第一反应是过滤条件写错,把 tenant_id 写进了 must_not。检查请求体,两个条件都在 must 里,值也对。拿同一条向量去掉过滤再查,还是 12ms,问题锁定在过滤这一层。 看 collection 的 payload_schema,tenant_id 和...

pgvector 0.7 的 HNSW 索引查询反而慢 | ef_search 该调到多少

陆零云 39 0
文档问答的向量表涨到四十万条,维度 768。建 HNSW 索引之前,按余弦距离排序取前十要走全表扫描,一次 150ms。建完索引再测,同样的 SQL 变成 480ms,比不建还慢三倍,第一眼以为索引建坏了。 用 EXPLAIN ANALYZE 看执行计划,走的是 Index Scan using idx_doc_hnsw,索引确实生效了。ef_search 用的是默认 40,按说这个值下召回和延迟应该平衡得不错。再看实际扫描的行数,索引节点访问了四万多次,...

向量检索 1000 次 top10 平均 3.8 条重复 阈值怎么定

陆零云 34 0
知识库检索接进客服后,top10 里经常三四条讲同一件事。抽了 1000 次检索日志,平均每次 3.8 条重复,最夸张的一次 10 条全是同一段,只是 chunk 起点差 40 个字。用户看到的是同一句话被复述三遍,答案显得很啰嗦。 根因有两个。切块时重叠设了 128 字符,相邻块天然相似;文档更新后旧版本没删,同一段落有两个 doc_id。只按文本做 set 去重不够,chunk 边界不同,字符串不一样,相似度却有 0.96。doc_id 去重前要先做版...

Milvus 2.4 删除后 search 仍召回旧数据 flush 怎么调用才生效

陆零云 34 0
现象 Milvus 2.4 里按主键删除文档,delete 返回 delete_count 为 2,但紧接着 search 仍然把这两条召回,换客户端重启也一样,只有把整个集合重建后旧数据才消失,业务侧因此一直答出已经下线的活动信息。 原因 Milvus 的删除是标记删除,数据先写进删除日志,查询时按时间戳过滤。默认一致性级别是 Bounded,客户端可能读到还没应用删除的旧段;没有 flush 和 compact 时,旧数据一直留在磁盘上。已经加载到内存...

RAG 召回不准 chunk size 从 512 调到 256 之后怎么验证效果

陆零云 32 0
现象 知识库按 512 个字符切块,问「退款多久到账」时 top5 里有四条是发票开具条款,正确的那段明明在文档里,却排到第八位,模型随后开始编造到账天数。同一个问题换个说法,召回结果又变了。 原因 固定长度切分会把标题和小节拆散,512 个汉字约合七百多 token,超过 bge 系列 512 token 的输入上限,后半段被静默截断。一个块里混了多个主题时,向量被平均成一个模糊中心,和任何具体问题都不够接近。重叠为 0 还会把跨块的答案从中间切断,检索...

Milvus 检索 nprobe 128 仍召回为空怎么排查索引

陆零云 26 0
现象 集合里有十二万条向量,用 search 查 top_k=5,返回的 results 是空数组,不报错。把 nprobe 从 16 调到 128 仍然为空,换一个查询向量结果一样,但用主键查单条记录又能查到。 原因 向量检索为空通常不是索引参数问题,而是数据没真正可查。常见情况有三种:集合创建后没有 load,索引建在错误的字段上,或者查询带了过滤表达式,把候选集过滤成了空。还有一种容易被忽略,数据写进了别的 partition,而查询只搜默认分区。...