图片接口返回 8MB base64 报 MemoryError | 边下边落盘怎么写

商品图生成走的是自建 SDXL 接口,response_format 选的 b64_json。单张 8MB base64,压测 32 并发时 Python 进程 RSS 从 420MB 冲到 3.2GB,直接抛 MemoryError,日志里 traceback 都没打完进程就没了。

算一下就知道不是泄漏。8MB base64 解码成 6MB bytes,PIL 打开 4096×4096 的 PNG 再转 RGB,单张占 48MB,32 并发同时活着就是 1.5GB;requests 把整个响应 json 化,又多一份 256MB 的字符串副本。三份数据叠在一起,2G 内存的机器必炸。

先试的是加 semaphore 限到 8 并发。RSS 峰值 1.1GB,不炸了,但吞吐从 14 张每秒掉到 3.5 张每秒,生成队列积压 4000 条,业务方不接受。也试过手动 gc.collect(),没用,对象还被 json 的中间结构引用着,回收不掉。

改成不把响应读进内存。requests 开 stream=True,响应体分块写临时文件,再用 ijson 从文件里流式取 data.item.b64_json,取到一个解一个,解完立刻落盘并释放引用。临时文件用完就删,磁盘多占 8MB 比内存爆掉划算。

import ijson, base64, requests, uuid

tmp = f"/data/tmp/{uuid.uuid4().hex}.json"
r = requests.post(url, json=payload, stream=True, timeout=180)
with open(tmp, "wb") as f:
    for chunk in r.iter_content(1 << 20):
        f.write(chunk)
with open(tmp, "rb") as f:
    for b64 in ijson.items(f, "data.item.b64_json"):
        raw = base64.b64decode(b64)
        open(name_of(raw), "wb").write(raw)

落盘之后还要压一层。原图 6MB 直接给前端太慢,用 PIL 的 draft 模式先按 0.5 倍解码再缩到 1200 宽,内存只占原图四分之一,缩略图 210KB,列表页首屏从 2.8 秒降到 0.9 秒。

判断修好不看有没有报错,看两个数。psutil 每 5 秒采一次 RSS,跑 5000 张图,峰值 780MB 且不随时间往上爬;再抽 100 张和直连下载的文件做 md5 比对,必须完全一致。中间有一次 3 张 md5 不同,查出来是临时文件重名覆盖,加了 uuid 后缀才消掉。

您可以还会对下面的文章感兴趣: