商品库 12 万条标题要建向量,脚本一次把 3000 条塞进 embeddings 接口,直接返回 400,原文是 Request too large for text-embedding-3-small in organization org-8f2 on tokens per min (TPM): Limit 1000000, Requested 1180000。条数看着离 2048 还远,token 已经先超了。
第一刀按 2048 条切,仍然偶发 400。翻数据发现这批标题后面还挂着长描述,单条 800 token,一片能到 160 万 token。改成双约束,每片最多 256 条,累计 token 不超过 20 万,用 tiktoken 的 cl100k 估算,重试前再核一遍实际值。
限速不能只靠并发数。四个 worker 共享一个令牌桶,TPM 按 90 万留余量,RPM 设 900,取不到令牌就阻塞,不许 sleep 后强发。试过 16 并发,429 每分钟 200 次,重试把队列越堆越长,P95 反而从 3.2 秒涨到 11 秒。
def shards(rows, max_items=256, max_tokens=200000):
buf, used = [], 0
for r in rows:
n = len(r["text"]) // 2
full = len(buf) >= max_items
if buf and (full or used + n > max_tokens):
yield buf
buf, used = [], 0
buf.append(r)
used += n
if buf:
yield buf
落库按 batch_id 记状态,每片成功立刻写回,进程挂了重跑只补 failed 和缺失的分片。跑完对账,用 source_hash 抽 100 条重新 embedding,余弦相似度低于 0.999 的挑出来重算,避免半截写入。
12 万条最终 46 分钟跑完,400 和 429 都是 0。分片大小别拍脑袋定,先统计 token 分布的 P99,再倒推每片条数,我用的是 256 条加 20 万 token 两个上限,任何一个先到就切。
