陆零云
34
0
月底对账发现平台账单比自己记的高三成。翻统计代码,流式接口每个 chunk 的 usage 打出来都是 null,最后汇总成 0,等于只记了请求数没记 token。
第一反应是 SDK 版本旧,升到 openai 1.40 还是一样。查文档才知道流式默认不返回用量,要显式传 stream_options 里的 include_usage 为 true,服务端会在最后补一个 chunk,choices 是空数组,usage 挂在那个 chunk 上。
加上参...
陆零云
33
0
系统提示固定 3200 token,账单里 cached_tokens 一直是 0,200 次请求没有一次命中,等于每次都在按原价付输入费。代码里 messages 第一条确实是 system,我一开始以为前缀放错位置了。
把日期从 system 挪到 user,重跑还是 0。查文档才注意到两个硬条件:前缀至少要 1024 token,而且必须逐字节一致。我们的 system 里拼了当前时间和请求 id,每一条都不一样,缓存键根本对不上。
改法是把动态内容...
陆零云
39
0
自建网关按响应里的 usage.prompt_tokens 加 completion_tokens 记账,一个月统计出 4.82 亿 token,OpenAI 后台账单折算 5.69 亿,差 18%,财务直接把差异单甩过来要求解释。网关按天汇总,账单按自然月出,跨月那两天本来就对不齐,但只能解释几个百分点。
先怀疑漏统计失败请求,日志里 429 和 5xx 一共 1.3 万次,这些本来不计费,排除。再看流式请求,stream=true 时默认不返回 usa...
陆零云
46
0
现象:脚本跑到一半开始连续 429
批量处理数据时,前几十条正常,之后接口持续返回 429 Too Many Requests,错误体里 type 是 rate_limit_exceeded。把并发从 20 降到 5 有所缓解,但仍然偶发失败。
原因:请求速率和 token 速率是两套限制
RPM 超限。每分钟请求数超过账号配额,短时间并发最容易撞上。
TPM 超限。每分钟 token 数超限,长文本一次就吃掉大半额度,报错同样是 429。
并发突发。...