陆零云
25
0
200 万条 1024 维向量放在 pgvector 0.7 里,HNSW 索引加原始向量占了 8.4GB,机器只有 16GB,跑一个重排进程就开始换页。看到 0.7 新增了 halfvec,半精度存向量,理论上内存砍一半,当天就在测试库试。
改列类型时先报错,operator does not exist: halfvec <=> vector。原因很直接,列已经是 halfvec,查询参数还是 vector,两边类型对不上。索引语句也要跟着...
陆零云
26
0
一个文档检索集群,260 万条 768 维向量,建 HNSW 索引的 Job 跑到四十分钟被 OOMKilled。Pod 的内存限制是 12Gi,kubectl describe 里只有一行 Reason: OOMKilled,退出码 137。
第一反应是限制给小了,先把 limit 提到 24Gi 重跑,还是被杀,只是时间往后拖了十分钟。监控曲线显示内存在 11G 附近横盘十几分钟,然后突然冲顶,不像缓慢泄漏。
算了一下裸向量,260 万乘 768 再乘...