Milvus 2.4 建 HNSW 索引内存涨到 12G 被 OOMKilled 参数怎么限

陆零云 26 0
一个文档检索集群,260 万条 768 维向量,建 HNSW 索引的 Job 跑到四十分钟被 OOMKilled。Pod 的内存限制是 12Gi,kubectl describe 里只有一行 Reason: OOMKilled,退出码 137。 第一反应是限制给小了,先把 limit 提到 24Gi 重跑,还是被杀,只是时间往后拖了十分钟。监控曲线显示内存在 11G 附近横盘十几分钟,然后突然冲顶,不像缓慢泄漏。 算了一下裸向量,260 万乘 768 再乘...

1536 维向量换成 bge-m3 后检索报错 40 万条怎么迁

陆零云 33 0
知识库原来用 text-embedding-3-small,1536 维,后来为了本地化和成本换成 bge-m3,输出 1024 维。往旧 collection 写第一批数据就失败,Milvus 的报错大意是 float vector 长度 1024 与字段 dim 1536 不匹配,insert 直接退出。40 万条向量,流水线停在一半。 先想着改字段维度。在 Milvus 2.4 上对已有 collection 做 alter 改 dim 是不行的,报...

Milvus 2.4 删除后 search 仍召回旧数据 flush 怎么调用才生效

陆零云 34 0
现象 Milvus 2.4 里按主键删除文档,delete 返回 delete_count 为 2,但紧接着 search 仍然把这两条召回,换客户端重启也一样,只有把整个集合重建后旧数据才消失,业务侧因此一直答出已经下线的活动信息。 原因 Milvus 的删除是标记删除,数据先写进删除日志,查询时按时间戳过滤。默认一致性级别是 Bounded,客户端可能读到还没应用删除的旧段;没有 flush 和 compact 时,旧数据一直留在磁盘上。已经加载到内存...

Milvus 检索 nprobe 128 仍召回为空怎么排查索引

陆零云 26 0
现象 集合里有十二万条向量,用 search 查 top_k=5,返回的 results 是空数组,不报错。把 nprobe 从 16 调到 128 仍然为空,换一个查询向量结果一样,但用主键查单条记录又能查到。 原因 向量检索为空通常不是索引参数问题,而是数据没真正可查。常见情况有三种:集合创建后没有 load,索引建在错误的字段上,或者查询带了过滤表达式,把候选集过滤成了空。还有一种容易被忽略,数据写进了别的 partition,而查询只搜默认分区。...