给站内 5000 篇文档做向量,模型 bge-m3,用 sentenCe-transformers 3.0.1 在 8 核 16G 的云主机上跑。encode 一开始 CPU 直接 100%,负载 8.4,每秒只能处理 1.8 篇,算下来要 46 分钟。
先怀疑 batch_size 太小,从 32 加到 128,单批时间涨了,总吞吐反而降到 1.5 篇每秒,内存从 3G 涨到 9G。加到 256 的时候容器被 OOM kill,dmesg 里有 oom-killer 的记录。
后来看线程。torch.get_num_threads() 返回 8,环境变量 OMP_NUM_THREADS 没设,tokenizers 又自己开了一堆线程,三个线程池抢 8 个核,上下文切换开销比计算还大。
改成 OMP_NUM_THREADS=4,torch.set_num_threads(4),TOKENIZERS_PARALLELISM=false,batch_size 回到 16,吞吐升到 3.2 篇每秒,CPU 占用稳定在 420%,没有满载但快了一倍。
也试过开两个进程各 4 线程,用 multiprocessing 分片,理论上能再快,实际内存翻倍到 14G,和容器里的 MySQL 抢内存,跑到一半开始 swap,放弃。
batch_size 和线程数不是越大越好,CPU 推理的瓶颈在内存带宽,线程开满之后互相等数据。我这边测下来 4 线程 16 批是这台 8 核机器的最优点,换 16 核可以按一半的比例往上试。
验证是拿 200 篇做基准,记录每批耗时和 RSS,跑三遍取中位数;再做一次召回抽检,同一段查询返回的前三名和 GPU 上跑的一致,说明降线程没有影响结果。
embedding 做完是 5000 乘 1024 的 float32,落盘 19G,后来改成 float16 存 9.5G,检索精度没看出差别。
import os
os.environ["OMP_NUM_THREADS"] = "4"
os.environ["TOKENIZERS_PARALLELISM"] = "false"
import torch
torch.set_num_threads(4)
from sentence_transformers import SentenceTransformer
m = SentenceTransformer("BAAI/bge-m3", device="cpu")
vec = m.encode(texts, batch_size=16,
normalize_embeddings=True) 