陆零云
26
0
一个文档检索集群,260 万条 768 维向量,建 HNSW 索引的 Job 跑到四十分钟被 OOMKilled。Pod 的内存限制是 12Gi,kubectl describe 里只有一行 Reason: OOMKilled,退出码 137。
第一反应是限制给小了,先把 limit 提到 24Gi 重跑,还是被杀,只是时间往后拖了十分钟。监控曲线显示内存在 11G 附近横盘十几分钟,然后突然冲顶,不像缓慢泄漏。
算了一下裸向量,260 万乘 768 再乘...
陆零云
33
0
知识库原来用 text-embedding-3-small,1536 维,后来为了本地化和成本换成 bge-m3,输出 1024 维。往旧 collection 写第一批数据就失败,Milvus 的报错大意是 float vector 长度 1024 与字段 dim 1536 不匹配,insert 直接退出。40 万条向量,流水线停在一半。
先想着改字段维度。在 Milvus 2.4 上对已有 collection 做 alter 改 dim 是不行的,报...
陆零云
34
0
现象
Milvus 2.4 里按主键删除文档,delete 返回 delete_count 为 2,但紧接着 search 仍然把这两条召回,换客户端重启也一样,只有把整个集合重建后旧数据才消失,业务侧因此一直答出已经下线的活动信息。
原因
Milvus 的删除是标记删除,数据先写进删除日志,查询时按时间戳过滤。默认一致性级别是 Bounded,客户端可能读到还没应用删除的旧段;没有 flush 和 compact 时,旧数据一直留在磁盘上。已经加载到内存...
陆零云
26
0
现象
集合里有十二万条向量,用 search 查 top_k=5,返回的 results 是空数组,不报错。把 nprobe 从 16 调到 128 仍然为空,换一个查询向量结果一样,但用主键查单条记录又能查到。
原因
向量检索为空通常不是索引参数问题,而是数据没真正可查。常见情况有三种:集合创建后没有 load,索引建在错误的字段上,或者查询带了过滤表达式,把候选集过滤成了空。还有一种容易被忽略,数据写进了别的 partition,而查询只搜默认分区。...