Python 3.11 的 sqlite3 多线程并发写报错 database is locked 怎么排

Python 3.11 写的采集程序,8 个线程抓完就写本地 sqlite3,跑十几分钟开始报 sqlite3.OperationalError: database is locked,重试三次仍然失败,队列里积了 6 万条没落库。

第一反应是没设超时,connect 时带上 timeout=30,情况好了一些,但每小时仍有 200 多条失败。默认的 busy_timeout 只是让它在锁上排队等,锁本身一个都没少。

翻日志找到一个线程一次 executemany 插 5000 行,中间不 commit,事务开了整整 8 秒。sqlite 同一时刻只允许一个写事务,其余线程全排在后面,等到超时就抛 locked。读也会被这个写事务挡住,报表查询直接卡住。

试过设 check_same_thread=False 让多个线程共用一个连接,结果更糟。Python 的 sqlite3 模块自己带一把锁,8 个线程抢一把,吞吐掉到原来的三分之一。

改成 WAL 模式,读写不再互斥,写还是只能一个,但读不用排队了。再把批量写拆成 500 行一个事务,单次持锁从 8 秒降到 0.4 秒。SYNchronous 设 NORMAL,掉电最多丢最后一个事务,采集数据能接受。

写者竞争还剩一点,最后加了一层:所有写操作进 queue.Queue,单独一个写线程消费,其他线程只投递。sqlite 连接只在这个线程里用,连线程参数都不用改。

确认口径:8 线程写 20 万条,耗时 42 秒,locked 异常 0;PRAGMA integrity_check 返回 ok;关掉进程重新打开,最后一条记录的 id 和内存计数一致。

con = sqlite3.connect("q.db", timeout=30)
con.execute("PRAGMA journal_mode=WAL")
con.execute("PRAGMA synchronous=NORMAL")
con.execute("PRAGMA busy_timeout=30000")

您可以还会对下面的文章感兴趣: