月底对账发现平台账单比自己记的高三成。翻统计代码,流式接口每个 chunk 的 usage 打出来都是 null,最后汇总成 0,等于只记了请求数没记 token。
第一反应是 SDK 版本旧,升到 openai 1.40 还是一样。查文档才知道流式默认不返回用量,要显式传 stream_options 里的 include_usage 为 true,服务端会在最后补一个 chunk,choices 是空数组,usage 挂在那个 chunk 上。
加上参数后本地网关直接 400,报 unknown field stream_options。我们中间有一层自建代理,白名单里没放这个字段。代理透传之后恢复正常,代价是升级窗口期有两天数据缺失,只能按月均值补。
还有一个坑:最后一个 chunk 的 choices 是空列表,代码里直接取 choices[0].delta.content 会抛 IndexError。改成先判空再取,同时把 usage 存在循环外面,避免中间某个 chunk 带 usage 时被后面的空值覆盖。
用 500 次调用对比,自记的 completion_tokens 与账单差 0.8%,误差来自多模态的计价单位。prompt_tokens 完全一致,说明统计链路终于对上了。
stream = client.chat.completions.create(
model=MODEL, messages=msgs, stream=True,
stream_options={'include_usage': True},
)
usage = None
for ch in stream:
if ch.usage:
usage = ch.usage
if ch.choices:
print(ch.choices[0].delta.content or '', end='') 