自建网关按响应里的 usage.prompt_tokens 加 completion_tokens 记账,一个月统计出 4.82 亿 token,OpenAI 后台账单折算 5.69 亿,差 18%,财务直接把差异单甩过来要求解释。网关按天汇总,账单按自然月出,跨月那两天本来就对不齐,但只能解释几个百分点。
先怀疑漏统计失败请求,日志里 429 和 5xx 一共 1.3 万次,这些本来不计费,排除。再看流式请求,stream=true 时默认不返回 usage,网关一直按字符数估算,中文按一字 0.6 token 算,实际 cl100k 分词常见一字一到两 token,估算系统性偏低。流式请求占总量的 62%,是差额主因。
核对办法是在请求里加 stream_options 打开 include_usage,最后一个 chunk 会带真实 usage,逐条落库。抽 500 条对比,估算值比真实值平均低 27%,方向和量级都对得上。
还有一处小头:system prompt 和 tools 定义每次请求都计入 prompt_tokens,网关只统计了消息数组,漏掉工具定义的 480 token 乘以请求数,约占 3%。补上后重跑一周,统计 5.66 亿,账单 5.69 亿,差 0.5%。
剩下的 0.5% 来自重试请求和账单的四舍五入,财务按 0.5% 以内接受。网关加了一条断言,响应里缺 usage 直接告警,不再静默估算。
核对顺序就固定成三步:先看计费请求占比,再看流式与工具的漏项,最后对重试做去重,三步走完差异能压到千分之五。
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=msgs,
stream=True,
stream_options={"include_usage": True},
)
for chunk in resp:
if chunk.usage:
save(chunk.usage.prompt_tokens,
chunk.usage.completion_tokens) 