Chroma 0.4 重启后 collection 为什么是空 persist 目录写在哪

本地知识库用 Chroma 0.4.24,客户端写的是 PersistentCLIent(path="./chroma_db")。开发机重启后正常,放到测试服务器用 systemd 拉起,collection.count() 返回 0,12 万条向量一条不剩。

第一反应是没调 persist(),补上之后直接报 AttributeError: 'PersistentClient' object has no attribute 'persist'。0.4 已经改成自动落盘,这个接口是 0.3 的,照老文档写就踩坑。

改成绝对路径 /data/chroma,重启还是 0。进容器看目录,里面只有一个空的 sqlite 文件。docker-compose 把宿主机目录挂到 /app/chroma_db,代码写的是相对路径,工作目录在 /app,宿主机那个目录是新建的,当然是空的。

把挂载点改成 /data/chroma,代码路径跟着改,启动时加一次自检,集合不存在就建,存在就打印条数。第一次写入 12 万条,重启后 count 还是 12 万。

import chromadb
client = chromadb.PersistentClient(path="/data/chroma")
col = client.get_or_create_collection(
    name="docs", metadata={"hnsw:space": "cosine"})
print("count", col.count())
if col.count() == 0:
    raise SystemExit("collection empty check mount")

还有个坑,collection 名大小写敏感,老代码写的 Docs 和新代码的 docs 会变成两个集合,数据看着像丢了。迁移时把集合名统一成小写,写进配置,别散在代码里。

线上还有个现象,写入和查询在不同进程里跑,写进程刚写完,读进程要等几百毫秒才看得到。Chroma 的落盘有缓冲,进程退出时才刷干净,用 kill -9 停服务就丢最后一批。后来改成每写 5000 条手动调一次持久化接口,再重启验证,条数对得上。

备份也补了,每天凌晨把整个目录打包传到对象存储,压缩后 1.8GB。恢复演练做过一次,解压到新目录,改一行配置就能起,12 万条查询结果和线上一致。

目录权限也要对上,容器里跑的用户是 1000,宿主机目录属主是 root,写不进去也会静默失败。这套流程现在写进了运维手册,新同事照着做一遍就能复现。

现在每次发版先跑一次 count 校验,条数低于上一版就中止发布。这个检查已经拦住过两次挂载写错,比事后补数据省事得多。

您可以还会对下面的文章感兴趣: