陆零云
27
0
知识库上了 BM25 加 bge-m3 的混合检索,两路各取 50 条,用 RRF 融合,k 取 60。上线后 MRR 从 0.74 掉到 0.68,nDCG@10 少了 0.04,比单路向量还差。单次检索 90 毫秒,向量那路占 70 毫秒,BM25 只花 15 毫秒,延迟不是瓶颈。
第一反应是权重不对,把向量那路加权到 2 倍,MRR 回到 0.71,仍不如单路。又试了把两路分数归一化后相加,结果 0.66,更差。RRF 只看排名,本来就不该做分数归一...
陆零云
41
0
给站内 5000 篇文档做向量,模型 bge-m3,用 sentence-transformers 3.0.1 在 8 核 16G 的云主机上跑。encode 一开始 CPU 直接 100%,负载 8.4,每秒只能处理 1.8 篇,算下来要 46 分钟。
先怀疑 batch_size 太小,从 32 加到 128,单批时间涨了,总吞吐反而降到 1.5 篇每秒,内存从 3G 涨到 9G。加到 256 的时候容器被 OOM kill,dmesg 里有 oom-...
陆零云
33
0
知识库原来用 text-embedding-3-small,1536 维,后来为了本地化和成本换成 bge-m3,输出 1024 维。往旧 collection 写第一批数据就失败,Milvus 的报错大意是 float vector 长度 1024 与字段 dim 1536 不匹配,insert 直接退出。40 万条向量,流水线停在一半。
先想着改字段维度。在 Milvus 2.4 上对已有 collection 做 alter 改 dim 是不行的,报...