OpenAI 账单比 token 统计多 18%:差异怎么逐条核对

自建网关按响应里的 usage.prompt_tokens 加 completion_tokens 记账,一个月统计出 4.82 亿 token,OpenAI 后台账单折算 5.69 亿,差 18%,财务直接把差异单甩过来要求解释。网关按天汇总,账单按自然月出,跨月那两天本来就对不齐,但只能解释几个百分点。

先怀疑漏统计失败请求,日志里 429 和 5xx 一共 1.3 万次,这些本来不计费,排除。再看流式请求,stream=true 时默认不返回 usage,网关一直按字符数估算,中文按一字 0.6 token 算,实际 cl100k 分词常见一字一到两 token,估算系统性偏低。流式请求占总量的 62%,是差额主因。

核对办法是在请求里加 stream_options 打开 include_usage,最后一个 chunk 会带真实 usage,逐条落库。抽 500 条对比,估算值比真实值平均低 27%,方向和量级都对得上。

还有一处小头:system prompt 和 tools 定义每次请求都计入 prompt_tokens,网关只统计了消息数组,漏掉工具定义的 480 token 乘以请求数,约占 3%。补上后重跑一周,统计 5.66 亿,账单 5.69 亿,差 0.5%。

剩下的 0.5% 来自重试请求和账单的四舍五入,财务按 0.5% 以内接受。网关加了一条断言,响应里缺 usage 直接告警,不再静默估算。

核对顺序就固定成三步:先看计费请求占比,再看流式与工具的漏项,最后对重试做去重,三步走完差异能压到千分之五。

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=msgs,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in resp:
    if chunk.usage:
        save(chunk.usage.prompt_tokens,
             chunk.usage.completion_tokens)

您可以还会对下面的文章感兴趣: