一个文档检索集群,260 万条 768 维向量,建 HNSW 索引的 Job 跑到四十分钟被 OOMKilled。Pod 的内存限制是 12Gi,kubeCtl describe 里只有一行 Reason: OOMKilled,退出码 137。
第一反应是限制给小了,先把 limit 提到 24Gi 重跑,还是被杀,只是时间往后拖了十分钟。监控曲线显示内存在 11G 附近横盘十几分钟,然后突然冲顶,不像缓慢泄漏。
算了一下裸向量,260 万乘 768 再乘 4 字节,接近 8G,建索引过程中还要复制一份,加上图结构和临时缓冲,12G 确实打不住。M 设 32、efConstruction 设 400 的时候,内存还要再往上翻。
试过把 M 降到 8,内存下来了,recall 从 0.93 掉到 0.81,业务不接受。试过分批建索引再合并,Milvus 2.4 的 HNSW 不支持增量合并,这条路直接堵死。
改成 IVF_SQ8,nlist 取 4096,向量量化后只占四分之一,构建峰值 3.6G。recall 掉了两个点,靠后面的 rerank 补回来,业务侧没感知。
index_params = {
"index_type": "IVF_SQ8",
"metric_type": "IP",
"params": {"nlist": 4096},
}
client.create_index("doc", index_params)
验证是拿 500 条标注 query 跑 recall@10,对比切换前后的数值,再压一遍查询 P99。建索引时间从四十分钟缩到十二分钟,Pod 没再被杀过。
